使用了chatglm3-6b-128k模型，知识库回答出现|user|并不断重复的问题

[geminizyz]

同样的问题和知识库，使用32k没有问题；但是使用chatglm3-6b-128k时，就不断的出现 |user|+各种提问内容，在不断的输出，而且|user|后的内容跟我的提问和本地知识库没有任何关系，同时，我选择的知识库里只有一个文件，里面的内容也跟|user|后的出现的各种内容没有任何关系，看着像是陷入了循环提示和回答；麻烦请问该如何调整？谢谢！
下几个图是我一次提问后的 一次 回答，最后点击stop才停止不断的重复的输出|user|+内容；随便找了一个其他的不在兼容列表里的模型（huggface上随便找了个llama3调整版）也是差不多同样的问题；

[dosubot[bot]]

针对您遇到的chatglm3-6b-128k模型输出问题，这里有一些可能的解决方案。首先，您可以尝试在处理模型输出时，检查并移除不需要的"|user|"前缀。这通常涉及到在输出解析逻辑中添加额外的步骤来剔除这些前缀。

在Langchain-Chatchat的代码库中，特别是StructuredChatOutputParserWithRetries类，您可以在parse方法中实现这一逻辑。具体实现可能需要根据您的具体需求进行调整。

此外，有关于类似问题的讨论建议更新项目到最新版本，比如将Langchain-Chatchat更新到0.2.8版本，以及将fschat更新到0.33版本。还有建议在生成满意答案后，通过在knowledge_base_chat_iterator函数中添加条件来跳出循环。另一个建议是使用glm2模型而不是glm3模型，因为后者可能会导致更多的兼容性问题。

如果在尝试这些解决方案后仍遇到问题，建议查看Langchain-Chatchat的问题跟踪中的相关讨论，可能会有更多的信息和解决方案。希望这些建议能帮助您解决遇到的问题。

Details

Sources

• [BUG] 使用chatglm-6-b-128k出现自问自答，停不下来的情况
• [BUG] Chatglm3回答问题，生成很多不想干的内容round1,round2...
• chatglm2-6b一直在输出重复内容
• server/agent/custom_agent/ChatGLM3Agent.py
• configs/model_config.py.example
• server/chat/agent_chat.py

About Dosu
This response is meant to be useful and save you time. It is not meant to be a precise solution, but rather a starting point for your own research.

Help me be more useful! Please leave a 👍 if this is helpful and 👎 if it is irrelevant.

To continue the conversation, mention @dosu.

[zRzRzRzRzRzRzR]

没有找到对应的 special token

记得在vllm或者推理的时候设置end id
然后记得调高惩罚系数