各位，有没有人遇见过通义千问1-8b-chat模型回答都是乱码的情况，另外chatglm3-6b的8bit量化或者4位量化服务使用agent是不是不太行啊？

[wu-xiaochen]

1."Qwen-1_8B-Chat"无论是在线缓存，还是下载到本地，问答模式都是乱码，知识库和搜索只能调用工具，但不会总结答案；
2.chatglm3-6b 在框架开启8bit量化之后，agent无法实现，每次都不会进行深度推理；
3.另外开启chatglm.cpp和llama.cpp 服务，启动量化加速服务后，langchain-chatchat框架访问服务调用agent也不支持，是否是因为量化的问题？

[dosubot[bot]]

🤖

你好，@wu-xiaochen！我是Dosu，一个可以帮助你解决bug，回答问题和成为贡献者的机器人。在等待人类维护者的同时，我会在这里为你提供帮助。很高兴和你交流！

针对您的问题，我会尽力提供一些可能的解答和建议。

1. 关于"Qwen-1_8B-Chat"模型的乱码问题，可能的原因有很多。在Langchain-Chatchat代码库中，我找到了一些可能的原因：

   • 模型版本不正确：在QwenWorker类中指定的模型版本可能与"Qwen-1_8B-Chat"模型不兼容。版本在QwenWorker类的__init__方法中设置。

   • API密钥问题：如果调用模型的API密钥错误或过期，可能会导致意外的响应。API密钥在do_chat和do_embeddings方法中使用。

   • 温度参数：温度参数控制模型响应的随机性。如果设置得过高，模型可能会产生更随机（可能乱码）的响应。温度在do_chat方法中设置。

   • 模型配置：如果在do_chat和do_embeddings方法中加载的模型配置错误，可能会导致意外的响应。

   • 错误处理：如果模型的响应中存在错误，当前的代码会记录错误并将错误消息作为响应返回。如果错误消息不清晰或无法理解，可能会导致乱码响应。

   • 输入数据：如果传递给模型的输入数据错误或不符合预期的格式，可能会导致乱码响应。输入数据在do_chat和do_embeddings方法中传递。

   您可以参考这个链接查看相关代码。

2. 关于"chatglm3-6b"模型在开启8bit量化后无法实现agent的问题，我在Langchain-Chatchat代码库中没有找到相关信息。可能需要更多的信息来确定问题的原因。

3. 关于开启chatglm.cpp和llama.cpp服务后，Langchain-Chatchat框架无法调用agent的问题，我在Langchain-Chatchat代码库中也没有找到相关信息。这可能是由于量化问题，也可能是由于其他原因。

以上是我根据Langchain-Chatchat代码库的信息给出的答案，可能并不完全准确。如果您有更多的信息或者有其他的问题，欢迎继续提问。

Sources

• server/model_workers/qwen.py

---

This response is meant to be useful and save you time. It is not meant to be a precise solution, but rather a starting point for your own research.

Help me be more useful! Please leave a 👍 if this is helpful and 👎 if it is irrelevant.

If you want to continue the conversation, start your reply with @dosu-bot.

[zRzRzRzRzRzRzR]

肯定是不行的，本来就是GPT4才能很好胜任的任务，本地模型效果已经很差了，量化后更差了