Qwen1.5-7B-Chat vLLM 部署调用-速度测试 hf命令错误

[ericalduo]

vLLM部署
测试原始方式（使用 hunggingface 的 transformers 库）的速度：

python benchmark_throughput.py \
	--model /root/autodl-tmp/qwen/Qwen1.5-7B-Chat \
	--backend hf \
	--input-len 64 \
	--output-len 128 \
	--num-prompts 25 \
	--seed 2024 \
	--dtype float16
    --hf_max_batch_size 25

最后两个参数应该为：

--dtype float16 \
--hf-max-batch-size 25

[KMnO4-zx]

好的，收到！