-
Notifications
You must be signed in to change notification settings - Fork 584
New issue
Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.
By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.
Already on GitHub? Sign in to your account
请问chatglm模型Lora微调完成之后,如何加载新模型? #72
Comments
可以先设置 |
好的,我再试一下。之前试过调用save_pretrained()一直报错,提示不是json格式。 |
现在这个参数改为save_strategy='epoch'了,不过加上去之后依然报错,报错信息如下。感觉像是版本的问题,不过python包我都是按照项目示例给的版本安装的。 |
@waynetest2024 我想知道您微调多大的模型,多少数据大概用了多久? 我1W的训练数据,LoRA微调qwen1.5-32b-chat在A6000上慢的要死....batch我设置的16,一个batch就恨不得一分钟 |
就是demo里的模型和数据,chatglm3-6b、huanhuan.json,4090上几分钟跑一趟吧。我只是熟悉下基本流程,要求比较低 |
您好,测试的话不用设置为epoch的,直接设置为iter,然后每5个iter就保存一下,看看是否正常。如果实在解决不了,后续我会创一个没问题的环境推到autodl上,更新后附到repo的相关链接中。 |
还有一个解决思路,使用提供的ipynb进行训练,然后在训练结束后手动保存model的权重,看下保存路径在哪里。 |
哦哦,但是设置save_strategy=5会直接报错 |
请问chatglm模型Lora微调完成之后,如何加载新模型?
虽然使用示例中“模型推理”小节的方式可以生成结果,但是我希望能够通过curl或者其他方式直接使用新模型进行推理。尝试了“重新加载”小节给出的实例,但是本地找不到checkpoint-1000文件,希望能够在lora微调.py文件后能补充描述,感谢!
The text was updated successfully, but these errors were encountered: