请教一下大佬，chatglm2全量微调之后的模型，还能再被Lora微调吗？

[lianglinyi]

请教一下大佬，chatglm2全量微调之后的模型，还能再被Lora微调吗？

[yuanzhoulvpi2017]

可以的，不影响

[lianglinyi]

我现在微调有些报错，不太知道怎么解决
Target module QuantizedLinear() is not supported. Currently, only torch.nn.Linear and Conv1D are supported.

代码里我看应该是在这个地方开始有问题， main.py 165行，166行这。求教
model = model.to(torch.bfloat16)
model = get_peft_model(model, config)

[yuanzhoulvpi2017]

你是用了chatglm2自己提供的量化吧。不建议使用它自己提供的量化方式

[lianglinyi]

是的，全量微调时候，用了chatglm2 int8量化。 那意思是我全量微调的模型不应该量化是吧，我这机器不太行，不量化跑不动

[yuanzhoulvpi2017]

将transformers升级到最新版本，然后使用transformers提供的量化方法（本质上它用的就是bitsandbytes量化方式）。你注意改一下。试一试

[lianglinyi]

感谢大佬，我先试试