我发现长文本生成效果不容易调出来，特别容易出现重复 例如“我吃饭了吗吗吗吗吗吗吗吗吗”

[liuanping]

Is there an existing issue for this?

• I have searched the existing issues

Current Behavior

我发现长文本生成效果不容易调出来，特别容易出现重复 例如“我吃饭了吗吗吗吗吗吗吗吗吗”，网上说是退化问题，即随着生成文本长度的增加其质量会逐渐降低，容易出现多种层次（字、短语、句子级）的重复生成。有没有大神给一些有效的经验。

Expected Behavior

求大神指点

Steps To Reproduce

训练长文本生成。

Environment

- OS:ubuntu-18
- Python:3.8.13
- Transformers:4.28
- PyTorch:2.2
- CUDA Support (`python -c "import torch; print(torch.cuda.is_available())"`) :11.7

Anything else?

none

[StarRanger]

你用的p-tuning吗？还是lora？

[liuanping]

你用的p-tuning吗？还是lora？
用的是lora

[Crazycatter]

我也是这个问题 减少文本长度有用么？

[xv994]

我在alpaca-lora遇到了同样的问题，猜测生成长文本的难度确实较大，而且lora在微调方法中也算是属于效果不太好的那一类了

[Leawnn]

我用p-tuning也是出现这种
求大神解答

[StarRanger]

max_target_length别指定太长，缩短到64，训练次数适当增加。部署时，tockenizer就用原本的Thudm/ChatGLM-6B，model用ptuning的model，你这情况我在训练llama时遇到过。chatglm没遇见。 发自我的iPhone

…

在 2023年4月20日，10:22，Leawnn ***@***.***> 写道：  我用p-tuning也是出现这种 求大神解答 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.

[Leawnn]

训练的时候max_target_length设置的300，max_steps设置5000，还是不太行

[Leawnn]

[xv994]

max_target_length为128时，生成中文文本字数大概为200字左右，你这个max_target_length=300，我猜测如果基底模型生成的内容不够长的话，就会不停重复

[SnakeHacker]

同样遇到了，有时候会疯狂排比句

[liuanping]

用全量微调 感觉没有这种问题了

[Lufffya]

@liuanping 大佬解决了吗，我也出现了同样的问题

[liuanping]

感觉全量微调就好了

[liuanping]

@Lufffya 感觉全量微调就好了 还有一些办法说是加重复惩罚项

[Lufffya]

@Lufffya 感觉全量微调就好了 还有一些办法说是加重复惩罚项

哦哦好吧，那估计不太行，我这里只有一张4090，跑不起来，谢谢

[liuanping]

@Lufffya 可能chatuan更友好 因为他是10亿参数模型 效果也还行。

[Chevalier1024]

@Lufffya 感觉全量微调就好了 还有一些办法说是加重复惩罚项

请问你有全量微调嘛

[shuanglong520]

@liuanping 大佬解决了吗，我也出现了同样的问题
有没有怎么微调相关的说明，谢谢

[liuanping]

@shuanglong520 我全量微调的时候发现没了 lora不行可能