请问能否支持chatglm2-6b的4bit量化？

[saisaizhou]

是否支持开启4bit量化，或者直接使用chatglm2-6b-int4？

[sj154087598]

可以直接使用 我跑过

[whpen]

加载4bit报错：utils.py[line:15] - ERROR: ClientPayloadError: Caught exception: Response payload is not completed 。 你那边跑通了，配置上有什么需要注意的呢？

[lanybass]

"chatglm2-6b": {
        "local_model_path": "/root/chatglm2-6b",
        "api_base_url": "http://10.0.0.3:8888/v1",  # URL需要与运行fastchat服务端的server_config一致
        "api_key": "EMPTY"
    },

我就用的4bit，没任何特别的地方,就是把模型文件夹换成了int4的，一切正常
楼上报错的兄弟，最后这条报错没什么意义，错误还要往上面找。

[whpen]

谢谢，问题已经解决