Skip to content

一种平价的chatgpt实现方案, 基于ChatGLM-6B

License

Notifications You must be signed in to change notification settings

OedoSoldier/ChatGLM-Tuning

 
 

Repository files navigation

ChatGLM-Tuning

一种平价的chatgpt实现方案,基于清华的 ChatGLM-6B 进行finetune.

数据集: alpaca

有colab的同学可以直接在colab上尝试: Build

准备

  • 显卡: 显存 >= 16G (最好24G或者以上)
  • 环境:
    • python>=3.8
    • cuda>=11.6, cupti, cuDNN, TensorRT等深度学习环境
    • pip3 install -r requirements.txt

数据预处理

python tokenize_dataset_rows.py \
    --jsonl_path data/alpaca_data.jsonl \
    --save_path data/alpaca \
    --max_seq_length 512
  • --jsonl_path 微调的数据路径, 格式jsonl, 对每行的['text']字段进行encode
  • --save_path 输出路径
  • --max_seq_length 样本的最大长度

训练

python finetune.py \
    --dataset_path data/alpaca \
    --lora_rank 8 \
    --per_device_train_batch_size 1 \
    --gradient_accumulation_steps 1 \
    --max_steps 52000 \
    --save_steps 1000 \
    --save_total_limit 2 \
    --learning_rate 2e-5 \
    --fp16 \
    --logging_steps 50 \
    --output_dir output

推理

参考 infer.ipynb

TODO:

  • bs > 1 support
  • 使用中文数据
  • 加入RLHF

About

一种平价的chatgpt实现方案, 基于ChatGLM-6B

Resources

License

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages

  • Python 94.7%
  • Jupyter Notebook 5.3%