不用 NVIDIA 也能行，ROCm 7.x 部署 vLLM 推理服务全流程

2600_96323192

409人浏览 · 2026-06-23 18:38:17

2600_96323192 · 2026-06-23 18:38:17 发布

实例初始化与权限避坑

很多开发者在尝试用 AMD Instinct GPU 替代昂贵的 NVIDIA 方案时，往往还没开始写代码，就倒在了环境配置的“第一公里”。特别是在 DevCloud 上创建实例后，直接照搬网上的通用教程安装驱动，结果发现显卡根本无法被识别。这通常不是驱动本身的问题，而是 Linux 用户组权限配置缺失导致的。

我们首选 Ubuntu 22.04 LTS 作为操作系统底座，这是目前对 ROCm 7.x 支持最成熟的版本。实例创建成功并 SSH 登录后，千万不要急着执行安装命令。ROCm 驱动运行依赖于特定的设备节点访问权，默认情况下普通用户是没有权限的。你必须先执行以下命令，将当前用户加入 video 和 render 用户组：

sudo usermod -aG video,render $USER

这一步至关重要，但极易被遗漏。执行完后，必须重启系统（sudo reboot），否则新的组权限不会生效。很多“驱动安装成功但无法识别显卡”的诡异问题，根源就在于此。重启后，可以用 groups $USER 确认自己是否已在这两个组中，这是后续所有操作能正常进行的基石。

驱动验证与架构确认

环境底座打好后，接下来是安装 ROCm 7.x 驱动。建议直接添加 AMD 官方软件源进行安装，避免使用第三方打包版本，以防内核模块不匹配。安装过程相对标准化，遵循官方文档执行 apt install rocm 系列命令即可。

安装完成并不意味着结束，验证环节才是确保后续编译不报错的关键。很多开发者跳过这一步直接装 PyTorch，结果在运行时遇到"illegal instruction"错误才回头查驱动，浪费大量时间。

首先，运行 rocm-smi 命令。如果能看到清晰的表格，列出 GPU 的温度、功耗、显存使用率以及频率策略，说明内核态驱动工作正常。如果该命令无输出或报错，请立刻检查 /dev/kfd 和 /dev/dri 设备节点是否存在。

紧接着，执行 rocminfo 获取详细的硬件架构信息。你需要重点关注输出中的 Name: gfx90a 或 gfx942 等架构代码。记下这个代码，它在下一步编译 PyTorch 时是必填项。如果系统识别到的架构代码与你预期的 Instinct 型号不符，说明驱动层仍有问题，切勿强行继续。此外，尝试编译一个简单的 HIP Hello World 程序，能进一步确认 hipcc 编译器是否就绪。

源码编译：PyTorch 与 vLLM

虽然 PyTorch 提供了预编译的 ROCm 版本，但在生产环境或追求极致性能时，源码编译往往是必经之路，尤其是为了适配最新的算子优化。这里有两个极易踩坑的核心点：环境变量设置和依赖版本匹配。

在激活 Conda 虚拟环境后，编译 PyTorch 前必须导出架构变量：

export PYTORCH_ROCM_ARCH="gfx90a" # 替换为你刚才 rocminfo 查到的实际代码

如果忽略这一步，编译出的二进制文件将无法在当前硬件上运行，报错时往往没有任何友好提示，直接崩溃。同时，建议使用 GCC 11 或 Clang 15 作为编译器，版本过高或过低都可能引发链接错误。

vLLM 的编译同样严谨。它对 Triton 编译器有强依赖，必须确保安装的 Triton 版本与当前 PyTorch ROCm 后端严格匹配，否则会导致严重的段错误。在执行 pip install vllm 之前，需显式导出 HIP_PATH 指向 ROCm 安装目录（通常为 /opt/rocm），并设置 MAX_JOBS 利用多核 CPU 加速构建：

export HIP_PATH=/opt/rocm
export MAX_JOBS=8
pip install vllm --no-build-isolation

加上 --no-build-isolation 参数可以减少环境隔离带来的依赖冲突。编译完成后，务必运行 python -c "import torch; print(torch.cuda.is_available())" 进行快速验证。在 ROCm 环境下，PyTorch 通常兼容此接口，若返回 True，则说明后端识别成功，可以进入服务启动阶段。

显存调优与服务启动

大模型推理最核心的瓶颈在于显存。vLLM 引入了 PagedAttention 技术，极大地提升了显存利用率，但在 AMD 平台上仍需精细配置。启动服务前，最关键的参数是 --gpu-memory-utilization。

很多新手喜欢把这个值设为 0.95 甚至更高，试图榨干每一字节显存。但在实际生产环境中，我强烈建议将其设置为 0.9。这是因为 ROCm 驱动本身以及一些系统级的后台进程需要少量的显存缓冲。如果设置得过于激进，一旦遇到瞬时峰值流量或显存碎片化，极易触发 OOM（内存溢出）导致进程崩溃。预留 10% 的显存给系统开销，是用微小的容量牺牲换取极高的稳定性，这笔账非常划算。

我们选择社区支持良好的 Llama 3 8B 模型进行测试，使用以下命令拉起服务：

python -m vllm.entrypoints.api_server \
  --model meta-llama/Meta-Llama-3-8B-Instruct \
  --gpu-memory-utilization 0.9 \
  --port 8000 \
  --host 0.0.0.0

启动过程中，密切观察日志，直到看到"Uvicorn running on…"字样，表明服务已成功监听端口。

OpenAI 接口调用与延迟实测

vLLM 原生兼容 OpenAI API 格式，这使得调用过程变得异常简单，无需编写复杂的客户端代码。下面是一个完整的 Python 调用示例，演示如何构造请求体、开启流式输出并解析结果。流式输出能让用户体验到打字机般的实时响应效果，对于长文本生成场景尤为重要。

import requests
import json

url = "http://localhost:8000/v1/chat/completions"
headers = {"Content-Type": "application/json"}

payload = {
    "model": "meta-llama/Meta-Llama-3-8B-Instruct",
    "messages": [
        {"role": "system", "content": "You are a helpful assistant."},
        {"role": "user", "content": "简述 AMD Instinct GPU 在大模型推理中的优势。"}
    ],
    "max_tokens": 512,
    "temperature": 0.7,
    "stream": True  # 开启流式输出
}

response = requests.post(url, headers=headers, json=payload, stream=True)

for line in response.iter_lines():
    if line:
        decoded_line = line.decode('utf-8')
        if decoded_line.startswith("data: "):
            content = decoded_line[6:]
            if content == "[DONE]":
                break
            try:
                data = json.loads(content)
                token = data['choices'][0]['delta'].get('content', '')
                print(token, end='', flush=True)
            except json.JSONDecodeError:
                continue
print() # 换行