手把手教你部署阿里云GPU服务器，轻松搭建OpenAI兼容大模型API！

程序员小猴紫

218人浏览 · 2026-05-28 20:37:21

程序员小猴紫 · 2026-05-28 20:37:21 发布

本文详细介绍了如何在阿里云GPU服务器上部署OpenAI兼容的大模型API。首先，文章指导读者安装必要的依赖如cuda和nvidia-smi，并安装vllm。接着，通过从modelscope下载deepseek-V4-flash模型，并安装open-webui。最后，文章还提供了启动和测试大模型的步骤，以及连接OpenAI兼容端口的说明。此外，文章还提到了一些前端方面的注意事项，如发送版本号保活机制、prompt实时渲染性能要求以及记忆功能不完善等问题。

0. 架构设计

┌─────────────────────────────────────────────────────────┐│                    阿里云 GPU 服务器                      ││  ┌─────────────┐    NVLink    ┌─────────────┐          ││  │   GPU 0     │◄────────────►│   GPU 1     │          ││  │   (H20)     │              │     (H20)   │          ││  └──────┬──────┘              └──────┬──────┘          ││         │                            │                  ││         └──────────┬─────────────────┘                  ││                    ▼                                     ││            ┌─────────────┐                              ││            │  vLLM 推理   │                              ││            │  (TP=2)     │                              ││            └─────────────┘                              │└─────────────────────────────────────────────────────────┘                              │                              ▼                    OpenAI-compatible API                    (http://服务IP:8000/v1)

1. vllm 安装

1.1 cuda + nvidia-smi 依赖

cuda 13.0/2 + nvidia-smi 570+

apt list -a nvidia-driver-*sudo apt-get install -y nvidia-driver-open=595.71.05-1ubuntu1sudo apt-get install -y cuda=13.0.0-1

可能出现找不到 libcudaart.so.13 地方的情况，就要在环境变量里更新

export LD_LIBRARY_PATH=<自己找的libcudaart.so.13所在位置>

1.2 安装 vllm

UV_INDEX_URL="https://mirrors.aliyun.com/pypi/simple" uv pip install vllm==0.20.1

2. deepseek-V4-flash 部署

2.1 从 modelscope 下载模型

# 安装 modelscopeUV_INDEX_URL="https://mirrors.aliyun.com/pypi/simple" uv pip install modelscope# 下载模型（脚本方式）python -c "from modelscope import snapshot_downloadsnapshot_download('deepseek-ai/DeepSeek-V4-Flash')"# ~/.cache/modelscope 下载在这个文件夹下面

3. open-webui 安装

直接在根目录下UV_INDEX_URL="https://mirrors.aliyun.com/pypi/simple" DATA_DIR=~/.open-webui uvx --python 3.11 open-webui@0.8.12 serve --port <your port>

4. 启动 + 测试

4.1 启动大模型

cd vllm1source .venv/bin/activatepython -m vllm.entrypoints.openai.api_server \    --model ~/.cache/modelscope/hub/models/deepseek-ai/DeepSeek-V4-Flash \    --served-model-name deepseek-v4 \    --tensor-parallel-size 2 \    --dtype bfloat16 \    --port <your port> \    --trust-remote-code \    --kv-cache-dtype fp8 \    --block-size 256 \    --enable-expert-parallel \    --tokenizer-mode deepseek_v4 \    --max-model-len 32768

4.2 测试

# 查询已加载的模型curl http://localhost:7198/v1/models# 验证 GPU 显存占用nvidia-smi# 预期：两卡显存占用大致均衡，总计约 140-150GBcurl http://localhost:<your port>/v1/chat/completions -H "Content-Type: application/json" -d '{  "model": "~/.cache/modelscope/hub/models/deepseek-ai/DeepSeek-V4-Flash",  "messages": [{"role": "user", "content": "有三个箱子，一个只装金币，一个只装银币，一个金银混装。箱子上的标签全是错的。你从标着‘混装’的箱子里拿出一枚硬币是金色的，请推理出三个箱子分别实际装的是什么？请详细展示你的思考步骤。"}],  "max_tokens": 2048,  "temperature": 0.3}'