关于预训练的一些问题

[LiuChen19960902]

我看到预训练脚本中使用lora做预训练然后在合并。我不是很理解这个过程。如果是预训练的话，我理解从头预训练或二次预训练。但是基于lora再合并就不清楚了。

1. 请问基于lora预训练然后再合并的方式是否有论文，我想去学习一下。
2. 基于lora预训练再合并的方式和直接二次预训练会有什么区别吗

[ymcui]

我没太看懂你说的问题。其实不用纠结是不是LoRA，以及合并模型等内容。

1. 将LoRA合并到基模型，比如原版LLaMA，就和标准LLaMA没什么区别了。
2. 为什么只训LoRA？因为全量参数我们训不动。
3. 我们说的预训练特指使用CLM的方式进行训练。

[axlyb]

那是否意味着我训练后可以合并Chinese-LLaMA-Plus-7B，即不用原始meta的LLaMA,以你训练好的中文基座模型作为原始LLaMA来合并

[zhangfan-algo]

这个是可以的,预训练里面是支持 原版llama和chinese llama的再次预训练的

[axlyb]

感谢指导

[LiuChen19960902]

很感谢您的解答。
这里还想请教一个问题，我在用lora微调的时候，会出现很严重的“灾难性遗忘”现象（我不确定是否是灾难性遗忘）。
它的表现为：我用垂直领域（法律）的语料微调后，不论我问什么问题，模型都会强行往法律领域上靠拢。
比如：问题：为什么要减少污染，保护环境？，模型会回答一堆和问题完全不相关，但是都是法律话术的回答。

想请教一下您在实验过程中是否有遇到过类型的情况，希望可以和您交流一下。