vLLM：大模型推理的标配工具，82k Star 的开源项目

大模型推理部署这件事，vLLM 几乎成了绕不开的选择。这个由 UC Berkeley Sky Computing Lab 发起的项目，目前 Star 数已达 82k，超过 2000 位贡献者参与，是 LLM 推理领域增长最快的开源项目之一。从初创公司到大型云厂商，越来越多团队用它承载生产环境的推理流量。Hugging Face 的 LLM 排行榜也采用 vLLM 作为评测后端，足以说明它在业界的认可度。社区维护频率很高，几乎每周都有新版本发布，bug 修复和功能更新的节奏很快。

PagedAttention 解决了什么

大模型推理时最大的瓶颈是显存。Transformer 每生成一个 token，都需要读取并更新 KV cache，这块缓存随序列长度线性增长，处理长文本时可能占用几十 GB 显存。传统内存分配要求整块连续空间，容易产生碎片，显存利用率通常只有 40% 到 60%，大量资源被浪费。

vLLM 的 PagedAttention 借鉴了操作系统虚拟内存的分页思想，把 KV cache 切成固定大小的块，通过页表映射，不要求物理连续。显存碎片基本消除，利用率提升到 95% 以上。同样一块 GPU，能同时服务的请求数翻了一倍不止。

PagedAttention 的论文发表在 SOSP 2023 上，被评为最佳论文，学术和工业界都认可了这项工作的价值。

在 PagedAttention 之外，vLLM 还做了大量工程优化。连续批处理动态整合请求，让 GPU 算力更饱和。前缀缓存避免公共前缀重复计算，分块预填充降低首个 token 的响应延迟。投机解码支持 EAGLE 和 n-gram 等多种策略，在不影响生成质量的前提下加速推理。这些优化叠加后，vLLM 的吞吐量比同类方案高出 2 到 4 倍。

能力边界

vLLM 支持的模型架构超过 200 种，覆盖当前主流选择：纯解码器模型如 Llama、Qwen、Gemma，MoE 架构如 DeepSeek-V3、Mixtral，多模态模型如 LLaVA、Qwen-VL、Pixtral，以及向量嵌入和分类模型。社区每有新模型发布，vLLM 通常很快跟进适配。支持工具调用和推理解析器，适合构建 Agent 应用。

量化方案覆盖面同样很广，从高精度 FP8 到低比特 INT4，以及 GPTQ、AWQ、GGUF 等常用格式都有原生支持。推理内核集成了 FlashAttention、FlashInfer、FlashMLA 等多种优化算子，不同硬件场景下自动选择最优实现。

部署方面，vLLM 提供 OpenAI 兼容 API，已有服务切换成本很低。同时支持 Anthropic Messages API 和 gRPC 接口。分布式推理支持张量、流水线、专家和数据并行四种模式，从单机多卡到跨机集群都能覆盖。分离式预填和解码架构允许将 prefill 和 decode 阶段部署在不同实例上，进一步提升资源利用率。结构化输出方面集成了 xgrammar 和 guidance，支持 JSON Schema 约束生成。

生态与上手

安装门槛低，一行命令装完就能跑。vLLM 与 Hugging Face 生态深度绑定，大多数 HF 上的模型下载后直接使用，不需要额外写适配代码。OpenAI API 的兼容设计也让已有应用的接入变得简单，只需修改 endpoint 地址即可切换。配合 LoRA 适配器热加载，一套服务可以同时服务多个微调版本。

硬件兼容范围广。NVIDIA 全系列 GPU 是主力，AMD GPU、x86 和 ARM 处理器也能运行。Google TPU、Intel Gaudi、Apple Silicon、华为昇腾等平台同样有对应支持。vLLM 团队维护了一套插件机制，第三方硬件厂商可以自行适配，生态扩展性好。

对于正在搭建或优化 LLM 推理服务的人来说，vLLM 是目前综合实力最突出的选择。性能、模型覆盖和社区活跃度三个维度上，开源方案里很难找到更好的替代。

能、模型覆盖和社区活跃度三个维度上，开源方案里很难找到更好的替代。