直接运行python run_gen.py，GPU 利用率不到50%

[runningabcd]

基于 CPT 做微调时，直接运行python run_gen.py 确实默认使用所有卡，但是 GPU 利用率很低，尝试更改 batch size 后，报显存不足的错误

有什么好的解决方式吗？

提升 GPU 的利用率

[runningabcd]

@choosewhatulike 麻烦解答下，感谢

[choosewhatulike]

推荐尝试一些新出的代码框架，使用最新的训练技术，比如flash attention

[runningabcd]

推荐尝试一些新出的代码框架，使用最新的训练技术，比如flash attention

谢谢，我试下，但是还有个问题，实验了三次，CPT 的推理速度同比bart-large-chinese 慢60%，这个不太理解，同一批样本数据