2.1.0

v2.1版本：

• 支持了 Qwen2 系列模型微调训练

What's Changed

• 增加中文数据集汇总，本项目支持格式 by @ZhuangXialie in #370
• Change Llama tokenizer from LlamaTokenizer to AutoTokenizer by @princepride in #380

New Contributors

• @princepride made their first contribution in #380

Full Changelog: 2.0.0...2.1.0

2.0.0

v2.0版本：

• 支持了 Meta Llama 3 系列模型微调训练
• 发布了适用于ORPO/DPO/RM模型的偏好数据集shibing624/DPO-En-Zh-20k-Preference
• 基于llama-3-8b-instruct-262k模型使用ORPO方法微调，得到 模型权重：https://huggingface.co/shibing624/llama-3-8b-instruct-262k-chinese ，及对应的lora权重：https://huggingface.co/shibing624/llama-3-8b-instruct-262k-chinese-lora

What's Changed

• Updates for readme and demo ipynb and a small update for deprecated function by @ker2xu in #360
• Typo by @ker2xu in #362
• add max_length and max_prompt_length by @ZhuangXialie in #367

New Contributors

• @ker2xu made their first contribution in #360
• @ZhuangXialie made their first contribution in #367

Full Changelog: 1.9.0...2.0.0

1.9.0

v1.9版本

1. 支持了 ORPO，详细用法请参照 run_orpo.sh。 不需要参考模型的优化方法，通过ORPO，LLM可以同时学习指令遵循和满足人类偏好，可以直接用base模型训练ORPO，训练相较SFT+DRO更简单，相对需要更多偏好数据集数据。
2. 新增了支持微调qwen1.5, cohere 模型，和对应的template。

What's Changed

• Update transformers in requirements.txt by @dividez in #321

Full Changelog: 1.8.0...1.9.0

v1.8.0

v1.8版本

1. 支持微调Mixtral混合专家MoE模型 Mixtral 8x7B，SFT中如果用lora微调模型，可以开启4bit量化和QLoRA--load_in_4bit True --qlora True以节省显存，建议设置--target_modules q_proj,k_proj,v_proj,o_proj，这样可以避免对MoE专家网络的MLP层量化，因为它们很稀疏且量化后会导致性能效果下降。
2. 新增了支持微调deepseek, deepseekcoder, orion 模型，和对应的template。

Full Changelog: 1.7.0...1.8.0

v1.7.0

v1.7版本：

1. 新增检索增强生成(RAG)的基于文件问答ChatPDF功能，代码chatpdf.py，可以基于微调后的LLM结合知识库文件问答提升行业问答准确率。运行python chatpdf.py调用rag问答。

Full Changelog: 1.6.0...1.7.0

v1.6.0

v1.6版本：

1. 新增了RoPE插值来扩展GPT模型的上下文长度，通过位置插值方法，在增量数据上进行训练，使模型获得长文本处理能力，使用 --rope_scaling linear 参数训练模型；
2. 针对LLaMA模型支持了FlashAttention-2，如果您使用的是 RTX4090、A100 或 H100 GPU，请使用 --flash_attn 参数以启用 FlashAttention-2；
3. 新增了LongLoRA 提出的 $S^2$-Attn，使模型获得长文本处理能力，SFT中使用 --shift_attn 参数以启用该功能；
4. 支持了NEFTune给embedding加噪SFT训练方法，NEFTune paper, 使用 --neft_alpha 参数启用 NEFTune，例如 --neft_alpha 5；
5. PT增量预训练支持qlora方法，如果使用的是 RTX4090、A100 或 H100 GPU，支持nf4，使用--qlora True --load_in_kbits 4参数启用qlora训练。

What's Changed

• About validation_file_dir by @Billccx in #196
• fix similar to issue #194 by @kinghuin in #200
• fix lm_head type changed bug by @jiangtann in #215

New Contributors

• @Billccx made their first contribution in #196
• @kinghuin made their first contribution in #200
• @jiangtann made their first contribution in #215

Full Changelog: 1.5.0...1.6.0

v1.5.0

v1.5版本

新增DPO(直接偏好优化)方法，DPO通过直接优化语言模型来实现对其行为的精确控制，而无需使用复杂的强化学习，也可以有效学习到人类偏好，DPO相较于RLHF更容易实现且易于训练，效果更好。

提供完整PT+SFT+DPO全阶段串起来训练的pipeline：run_training_dpo_pipeline.ipynb ，其对应的colab： ，运行完大概需要15分钟，我运行成功后的副本colab：

What's Changed

• Update rl_training.py by @dividez in #159
• Update pretraining.py by @anwuzhiab in #167
• Dpo by @shibing624 in #180
• update dpo pynb by @shibing624 in #181

New Contributors

• @dividez made their first contribution in #159
• @anwuzhiab made their first contribution in #167

Full Changelog: 1.4.0...1.5.0

v1.4.0

v1.4版本

发布基于ShareGPT4数据集微调的中英文Vicuna-13B模型shibing624/vicuna-baichuan-13b-chat，和对应的LoRA模型shibing624/vicuna-baichuan-13b-chat-lora，效果提升，并支持多轮问答。

演示shibing624/vicuna-baichuan-13b-chat模型效果：

What's Changed

• update tokenizer for multi round task by @shibing624 in #151
• Dev round by @shibing624 in #153

Full Changelog: 1.3.0...1.4.0

v0.1.3

v1.3版本

1. 新增LLaMA, LLaMA2, Bloom, ChatGLM, ChatGLM2, Baichuan模型的多轮对话微调训练
2. 新增领域词表扩充功能 https://github.com/shibing624/MedicalGPT/blob/main/build_domain_tokenizer.py
3. 新增中文预训练数据集和中文ShareGPT微调训练集 https://github.com/shibing624/MedicalGPT/wiki/%E6%95%B0%E6%8D%AE%E9%9B%86

What's Changed

• Dev by @shibing624 in #139
• Dev by @shibing624 in #140
• Dev by @shibing624 in #142

New Contributors

• @shibing624 made their first contribution in #139

Full Changelog: 1.2.0...1.3.0

v1.1

1.1版本:

发布中文医疗模型shibing624/ziya-llama-13b-medical-merged，基于Ziya-LLaMA-13B-v1模型，SFT微调了一版医疗模型，医疗问答效果有提升，发布微调后的完整模型权重

Full Changelog: 1.0.0...1.1