想請問可不可以使用量化過後的中文模型(GGUF格式)來訓練

[james60415]

目前使用v100 16G顯示卡按照wiki的預訓練腳本訓練7B的中文模型會OOM，所以想改使用8bit或6bit量化的GGUF模型來訓練。想問可以這樣訓練嗎，如果可以的訓練的話訓練步驟按照llama.cpp的手冊做可以嗎

[ymcui]

GGUF是llama.cpp独有格式，与训练脚本（基于transformers、PyTorch）不兼容。

[james60415]

感謝您的回答與補充，那我把中文量化的模型用llama.cpp的訓練步驟是可行的嗎

[ymcui]

llama.cpp主要是做量化推理的，不是用来训练和精调大模型的。
llama.cpp提供了一个叫train-text-from-scratch的程序，可以做一些简单的训练，但具体用法恐怕需要你自己去llama.cpp那边查找（并不是一个常用的功能）。

[james60415]

非常感謝您撥空回覆，我會再自行研究train-text-from-scratch，不過llama cpp也有推出finetune的程序(連結)，應該也是可以做訓練的，這部分我也會再自行研究，謝謝您