docker run -it --gpus all --network=host --ipc=host --rm --name qwen3.5-test \
  -v /home/vllm-models/Qwen3___5-35B-A3B:/home/vllm-models/Qwen3___5-35B-A3B \
  -v /etc/localtime:/etc/localtime:ro \
  -v /etc/timezone:/etc/timezone:ro \
  --entrypoint /bin/bash \
  vllm/vllm-openai

vllm/vllm-openai 这个镜像有个特殊机制:它默认会强制执行 vllm 命令,直接跟 bash 没用!

vllm/vllm-openai 镜像内置了默认启动命令,会强制跑 vllm,你直接加 bash 会被当成模型名字

必须用 --entrypoint /bin/bash 强制覆盖默认命令,才能真正进入终端!

Logo

中国智能体开发者社区,聚焦智能体与大模型开发,提供前沿资讯、实用工具链、开源项目及行业案例。通过技术沙龙、开发者大赛等活动,促进经验交流与协作,助力开发者快速构建创新智能应用。

更多推荐