设置成cpu时依然调用了显卡。

[fzhsbc]

config里面已经设置：

Embedding 模型运行设备。设为"auto"会自动检测，也可手动设定为"cuda","mps","cpu"其中之一。

EMBEDDING_DEVICE = "cpu" #"auto"

LLM 名称

LLM_MODEL = "internlm-chat-7b"

LLM 运行设备。设为"auto"会自动检测，也可手动设定为"cuda","mps","cpu"其中之一。

LLM_DEVICE = "cpu" #"auto"
同时startup.py中也修改了：
sys.modules["fastchat.serve.vllm_worker"].worker = worker

    else:
        from fastchat.serve.model_worker import app, GptqConfig, AWQConfig, ModelWorker
        args.gpus = None #"0" # GPU的编号,如果有多个GPU，可以设置为"0,1,2,3"
        args.max_gpu_memory = "2GiB"
        args.num_gpus = 0  # model worker的切分是model并行，这里填写显卡的数量

        args.load_8bit = False
        args.cpu_offloading = None
        args.gptq_ckpt = None

但显卡依然被启动了并且占用了20G显存。切换chatGLM6b-2后遇到了一样的问题。
| 1 NVIDIA GeForce ... Off | 00000000:1B:00.0 Off | N/A |
| 30% 30C P8 19W / 350W | 21736MiB / 24268MiB | 0% Default |
| | | N/A
有办法禁用显卡测试纯CPU的表现吗。

[zRzRzRzRzRzRzR]

不要使用auto，直接指定cpu，同时还需要禁用vllm

[Crescentz]

同样的问题，全部指定了cpu仍然调用cuda
当前启动的LLM模型：['chatglm3-6b'] @ cpu
{'device': 'cuda',
'host': '0.0.0.0',
'infer_turbo': False,
'model_path': '/home/zhang/CODE/Embeddings/chatglm3-6b',
'model_path_exists': True,
'port': 20002}
当前Embbedings模型： bge-small-zh-v1.5 @ cpu

[lr13953301387]

去server_config文件，往下拉，大概在93行， "chatglm3-6b": {
"device": "auto",
}, 看一下这里是不是写的cuda