gpt-oss with vLLM踩坑记录
gpt-oss with vLLM踩坑记录,包括uv#include <Python.h>和g++编译和c++编译
·
安装方法:
参考链接
[官网教程](https://cookbook.openai.com/articles/gpt-oss/run-vllm)
uv venv --python 3.12 --seed
source .venv/bin/activate
uv pip install --pre vllm==0.10.1+gptoss \
--extra-index-url https://wheels.vllm.ai/gpt-oss/ \
--extra-index-url https://download.pytorch.org/whl/nightly/cu128 \
--index-strategy unsafe-best-match
踩坑1: #include <Python.h>
跑 vllm serve openai/gpt-oss-20b的时候:
- 出现问题:
5 | #include <Python.h>
这说明没有装python-devel导致没有办法编译c++(大概是这个意思)
安装方法:
sudo apt install python3-dev
这个时候在/usr/include/pythonx.xx/中就会出现Python.h文件。
但貌似还是找不到Python.h,我就按照网上的教程加了一堆环境变量:
export C_INCLUDE_PATH=/usr/include/python3.12/
export CPLUS_INCLUDE_PATH=/usr/include/python3.12/
export PYTHONPATH=/home/user_name/.../lib/python3.12/site-packages # 虚拟环境位置
export CFLAGS="-I/usr/include/python3.12" # 好像这个是有用的,可以自己试试看
vllm serve openai/gpt-oss-20b
然后发现不报这个错了。
踩坑2: gcc: fatal error: cannot execute ‘cc1plus’: execvp: No such file or directory
这个错好像是g++编译的问题
找不到 g++ 编译器的核心程序 cc1plus,这通常是因为 C++ 编译器没装好。
解决方案:
sudo apt update
sudo apt install g++
然后以下代码验证是否安装成功:
which g++
g++ --version
然后再运行你的命令就不会报 cc1plus 缺失了。
火山引擎开发者社区是火山引擎打造的AI技术生态平台,聚焦Agent与大模型开发,提供豆包系列模型(图像/视频/视觉)、智能分析与会话工具,并配套评测集、动手实验室及行业案例库。社区通过技术沙龙、挑战赛等活动促进开发者成长,新用户可领50万Tokens权益,助力构建智能应用。
更多推荐
所有评论(0)