Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

关于保存的adapter_model.bin无实际推理效果的问题 #273

Open
ssgg-code opened this issue Feb 29, 2024 · 2 comments
Open

关于保存的adapter_model.bin无实际推理效果的问题 #273

ssgg-code opened this issue Feb 29, 2024 · 2 comments

Comments

@ssgg-code
Copy link

我之前在跑另外一个仓库代码的时候,就遇到了保存的adapter_model.bin合并backbone后对推理无任何影响的问题,总觉得是保存有问题。 然后在本仓库发现作者的save_model重写代码是一样的, 问题区有很多朋友遇到了和我一样的问题。
用这种重写的save model也不会有config文件的生成。
#250
#212
#243
#223
#208

self.model.save_pretrained(output_dir)
最终只需要用这个接口代替即可解决。

但是我还是不太能理解为什么这个问题会对部分情况存在,
我的transformers版本是4.28.1, peft是0.3.0。
希望能够帮助其他同学避坑,也希望有同学可以帮我解答一下。

@sofiane-20241050
Copy link

您好,我使用的就是self.model.save_pretrained(output_dir)方法,但是在模型merge之后,generate方法输出的后续tokens id都是0,请问这种情况该如何解决?

@ssgg-code
Copy link
Author

您好,我使用的就是self.model.save_pretrained(output_dir)方法,但是在模型merge之后,generate方法输出的后续tokens id都是0,请问这种情况该如何解决?
这个我倒是没遇到过,你的adapter.bin大小是正常的吗?训练loss是正常收敛的吗?

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

2 participants