支持跨主机部署模型推理

[lordk911]

vLLM官方文档称可利用ray实现模型多机推理

xinference launch model 时只能选择本机的显卡，希望可以支持跨主机部署模型推理

[qinxuye]

这么做在 xinf 中实现并不难，但我比较质疑多机 TP 的效率。

[lordk911]

这么做在 xinf 中实现并不难，但我比较质疑多机 TP 的效率。

嗯，好处是可以低成本去验证大尺寸模型，来为硬件投入做参考；对产品自身来讲也是个比较好的宣传点。

[zhanghaiqiangshigezhu]

目前xinference支持一个模型部署在多台机器上么？

[zhanghaiqiangshigezhu]

这么做在 xinf 中实现并不难，但我比较质疑多机 TP 的效率。

目前xinference支持一个模型部署在多台机器上么？

[zhanghaiqiangshigezhu]

这么做在 xinf 中实现并不难，但我比较质疑多机 TP 的效率。

嗯，好处是可以低成本去验证大尺寸模型，来为硬件投入做参考；对产品自身来讲也是个比较好的宣传点。

目前xinference支持一个模型部署在多台机器上么？