LMDeploy TurboMind 推理引擎配置详解

郜逊炳

554人浏览 · 2025-06-07 09:00:10

郜逊炳 · 2025-06-07 09:00:10 发布

LMDeploy TurboMind 推理引擎配置详解

【免费下载链接】lmdeploy LMDeploy is a toolkit for compressing, deploying, and serving LLMs. 项目地址: https://gitcode.com/gh_mirrors/lm/lmdeploy

概述

TurboMind 是 LMDeploy 项目中的高性能推理引擎，专为大型语言模型(LLM)优化设计。在使用 TurboMind 进行模型推理时，需要将原始模型转换为 TurboMind 格式，其中最关键的部分是配置文件config.ini。本文将深入解析 TurboMind 配置文件的各项参数，帮助开发者更好地理解和优化模型推理性能。

TurboMind 2.x 配置解析

TurboMind 2.x 版本对推理引擎进行了重大升级，引入了多项优化技术。以下是配置文件中各参数的详细说明：

模型固有属性

这些参数由模型架构决定，不可修改：

model_name: 模型名称标识，如"llama2"
head_num/kv_head_num: 注意力头的数量
vocab_size: 词表大小
num_layer: Transformer 层数
inter_size: FFN 中间层维度
norm_eps: LayerNorm 的 epsilon 值
attn_bias: 是否使用注意力偏置
start_id/end_id: 起始和结束 token ID
rotary_embedding: RoPE 旋转位置编码维度
rope_theta: RoPE 的 theta 参数
size_per_head: 每个注意力头的维度

推理性能参数

这些参数可根据实际需求调整以优化性能：

1. 数据类型配置

weight_type: 权重数据类型(fp16/int4)
group_size: AWQ 量化时的分组大小(仅 int4 权重有效)

2. 批处理优化

max_batch_size: 最大批处理量(默认64)
max_context_token_num: 最大上下文token数

3. KV Cache 内存管理

TurboMind 2.x 实现了创新的 Paged Attention 机制，显著提升了内存利用率：

cache_block_seq_len: 每个KV缓存块可存储的token数(默认128)
cache_max_entry_count: KV缓存块数量或内存占比
- (0,1)区间: 表示GPU内存使用比例
- 1整数: 表示具体块数
cache_chunk_size: 新开辟KV缓存块的数量策略

4. 高级功能开关

enable_prefix_caching: 前缀缓存功能(优化重复prompt场景)
quant_policy: KV量化策略(4/8bit量化)
rope_scaling_factor: RoPE外推能力(Dynamic NTK)
use_logn_attn: LogN注意力缩放功能

TurboMind 1.0 配置对比

TurboMind 1.0 版本采用传统的KV缓存管理方式，主要区别在于：

批处理配置

max_batch_size上限受cache_max_entry_count限制
默认批处理量较小(32)

KV Cache 管理

基于session_len(上下文窗口)整体分配内存
cache_max_entry_count表示最大缓存序列数
cache_chunk_size表示新增序列时的内存分配单位

功能实现差异

使用use_dynamic_ntk而非rope_scaling_factor控制NTK外推
前缀缓存功能不可用
内存利用率相对较低

配置优化建议

批处理大小：根据实际业务场景调整max_batch_size，平衡吞吐量和延迟
KV Cache优化：
- TurboMind 2.x建议根据GPU剩余内存比例设置cache_max_entry_count
- 长文本场景可适当增加cache_block_seq_len
量化策略：
- 显存紧张时考虑int4权重+KV量化组合
- 注意量化可能带来的精度损失
高级功能：
- 固定prompt场景开启前缀缓存
- 长文本推理启用Dynamic NTK和LogN注意力