踩坑两天多终于成功部署了双机并推，记录一下几个误区
由于从来没有用过ray，加上教程比较少，基本靠gpt加尝试确定以下几点

1. 可以不用kuberay，可以不用单独跑ray的pod
2. 做双机并推只需要1个镜像，vllm的镜像就可以了，kuberay，ray的单独镜像都不需要，因为vllm镜像内带了简易版本的ray，所以可以把ray和vllm一起跑，声明statfulset来启动ray-head和ray-worker
3. ray-head并不是只负责任务分发，ray-head作为集群的一员也可以跑模型(也就是说有head的节点不需要再启动一个worker了)，ray-head负责启动vllm serve，ray-worker负责在其他节点/设备上做head分发过来的计算任务。
4. 不用把vllm serve和ray分开的原因有很多，比如，ray对于版本要求很严格，ray和python版本小版本都必须一致，所以在vllm的镜像里面用ray工具就行，保证head和worker都是一个镜像，环境一致。
5. 如果用默认的tcp/ip网络，通信速度会很慢，导致每秒生成的token很少，可以用rdma网络加速。
6. qwen3-235b需要用vllm:v0.85.post1以上的版本，需要sglang>=0.4.6.post1 or vllm>=0.8.5

下面是使用qwen3-8b做示范成功用ray跑多机并推

参考文章：
https://huggingface.co/Qwen/Qwen3-235B-A22B/blob/refs%2Fpr%2F23/README.md

https://developer.aliyun.com/article/1539196

https://docs.vllm.ai/en/v0.5.1/serving/distributed_serving.html
https://docs.vllm.ai/en/v0.8.0/getting_started/troubleshooting.html#troubleshooting-incorrect-hardware-driver
https://zhuanlan.zhihu.com/p/1914325502921016042
https://zhuanlan.zhihu.com/p/1902835927396652806
https://zhuanlan.zhihu.com/p/1903867484429353303
https://github.com/QwenLM/Qwen3/issues/1339
https://mp.weixin.qq.com/s/U6X-LaujEG1ebeUUaYk_kg
https://time.geekbang.org/column/article/860426
https://blog.csdn.net/weixin_54510197/article/details/148430313