我看WIKI里写到起步必须14GB以上的显卡？

[Jmdatabase]

起步就得4080吗？这个对个人用户来说，实在压力很大。

[dosubot[bot]]

🤖

你好，@Jmdatabase！很高兴再次看到你的留言。希望这次我们也能找到满意的解答。

根据我在启动.py中找到的信息，运行Langchain-Chatchat的最低GPU内存要求是22GiB。这可能确实对个人用户来说有些高。然而，这是由于Langchain-Chatchat的复杂性和对处理能力的高需求。如果你的硬件不满足这个要求，可能会遇到一些问题。我理解这可能会带来一些困扰，但这是为了确保Langchain-Chatchat能够正常运行并提供最佳性能。

Sources

• startup.py

---

This response is meant to be useful and save you time. It is not meant to be a precise solution, but rather a starting point for your own research.

Help me be more useful! Please leave a 👍 if this is helpful and 👎 if it is irrelevant.

If you want to continue the conversation, start your reply with @dosu-bot.

[MarshalW]

有 16GB 显存的GPU即可， 默认加载后 ChatGLM3-6B 显存不到 14GB。

如果使用量化的模型，比如 Qwen-14B-Chat-Int4，不到 11GB。

[zRzRzRzRzRzRzR]

是的，14G是因为我们没做int4适配