从 FP32 到 INT4：大模型推理加速中的量化优化实战路径

一、为什么量化绕不开

大模型从训练到部署，推理阶段的算力消耗是工程落地的主要障碍。LLaMA-65B 在 FP16 精度下权重占用约 130GB 显存，单张 A100-80G 装不下。就算用张量并行把模型拆到多张卡上，推理延迟还是卡在显存带宽上——GPU 的计算单元大部分时间在等数据从 HBM 搬到寄存器，真正做浮点运算的时间反而不多。

量化就是把高精度浮点数用更少的比特表示，同时压缩模型体积、降低显存带宽压力、提高计算吞吐。对于有限硬件资源下的可部署推理，这已经不是一个可选项。量化有代价：精度损失、量化噪声、异常值通道被截断，任何一个环节出问题都可能让模型输出质量明显下降。在推理速度和输出质量之间找平衡，是这篇文章要讲的内容。

二、量化映射机制：从连续空间到离散空间

量化的数学本质是一个映射函数：把连续的浮点值域映射到有限的离散级别上。

2.1 对称量化与非对称量化

对称量化以零点为中心，把浮点区间 [-max_val, max_val] 线性映射到整数区间 [-127, 127]（INT8）。非对称量化引入零点（zero-point），允许浮点区间不对称分布，映射到 [0, 255]。激活值天然偏移零点，非对称量化在这种情况下保留的信息更多。

import numpy as np

def symmetric_quantize(tensor: np.ndarray, n_bits: int = 8) -> tuple:
    max_val = np.max(np.abs(tensor))
    if max_val < 1e-8:
        return np.zeros_like(tensor, dtype=np.int8), max_val, 0
    scale = max_val / (2 ** (n_bits - 1) - 1)
    quantized = np.round(tensor / scale).clip(
        -(2 ** (n_bits - 1)), 2 ** (n_bits - 1) - 1
    ).astype(np.int8)
    return quantized, scale, 0

def asymmetric_quantize(tensor: np.ndarray, n_bits: int = 8) -> tuple:
    min_val = np.min(tensor)
    max_val = np.max(tensor)
    if max_val - min_val < 1e-8:
        return np.zeros_like(tensor, dtype=np.uint8), 1.0, 0
    scale = (max_val - min_val) / (2 ** n_bits - 1)
    zero_point = np.round(-min_val / scale).clip(0, 2 ** n_bits - 1).astype(np.int32)
    quantized = np.round(tensor / scale + zero_point).clip(
        0, 2 ** n_bits - 1
    ).astype(np.uint8)
    return quantized, scale, zero_point

2.2 量化粒度：Per-Tensor vs Per-Channel vs Per-Group

量化粒度决定 scale 和 zero-point 的共享范围。粒度越细，每个通道或分组有独立的缩放参数，精度保留更好，但存储和计算开销也增加。

graph TD
    A[量化粒度选择] --> B[Per-Tensor<br/>整层共享一组参数]
    A --> C[Per-Channel<br/>每个输出通道独立参数]
    A --> D[Per-Group<br/>每128/64个元素一组参数]
    B --> B1[存储开销最小]
    B --> B2[精度损失最大<br/>异常通道被截断]
    C --> C1[精度与存储的平衡点]
    C --> C2[适用于卷积/线性层权重]
    D --> D1[精度保留最优]
    D --> D2[存储与反量化开销增大<br/>GPTQ/AWQ 采用此策略]

GPTQ 和 AWQ 选择 Per-Group 粒度（通常 group_size=128），因为大模型权重里有少量"异常值通道"——这些通道的数值范围远大于其他通道。Per-Tensor 量化为了迁就异常值会放大 scale，导致其余 99% 的通道被压缩到极窄的整数范围内。Per-Group 把异常值的影响隔离在单个分组内，是目前 INT4 量化的常用方案。

三、GPTQ 与 AWQ 的实现

3.1 GPTQ：基于 Hessian 的逐层最优量化

GPTQ 的做法是逐层量化权重时，用 Fisher 信息矩阵（近似为 Hessian）评估每个权重对输出误差的贡献，优先量化贡献小的权重，并通过补偿项修正已量化权重对未量化权重的影响。

import torch
from auto_gptq import AutoGPTQForCausalLM, BaseQuantizeConfig

def gptq_quantize_model(
    model_name: str,
    calibration_data: list[str],
    bits: int = 4,
    group_size: int = 128,
    desc_act: bool = True,
) -> AutoGPTQForCausalLM:
    quantize_config = BaseQuantizeConfig(
        bits=bits,
        group_size=group_size,
        desc_act=desc_act,
        damp_percent=0.01,
        sym=True,
    )

    model = AutoGPTQForCausalLM.from_pretrained(
        model_name,
        quantize_config=quantize_config,
        torch_dtype=torch.float16,
    )

    from transformers import AutoTokenizer
    tokenizer = AutoTokenizer.from_pretrained(model_name)
    calibration_tokens = []
    for text in calibration_data:
        tokens = tokenizer(text, return_tensors="pt")
        calibration_tokens.append(tokens.input_ids)

    model.quantize(calibration_tokens)
    return model

3.2 AWQ：激活感知的权重保护

AWQ 的思路是：不是所有权重都一样重要。对应大激活值的权重通道对模型输出影响更大，量化时应该保护。AWQ 通过搜索最优缩放因子，在量化前放大重要通道的权重，让它们在量化后保留更多有效位。

from awq import AutoAWQForCausalLM

def awq_quantize_model(
    model_name: str,
    bits: int = 4,
    group_size: int = 128,
    zero_point: bool = True,
    version: str = "GEMM",
) -> AutoAWQForCausalLM:
    model = AutoAWQForCausalLM.from_pretrained(model_name)
    tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)

    quant_config = {
        "zero_point": zero_point,
        "q_group_size": group_size,
        "w_bit": bits,
        "version": version,
    }

    model.quantize(tokenizer, quant_config=quant_config)
    return model

3.3 量化后的推理引擎对接

量化后的模型需要配合支持低精度计算的推理引擎。vLLM 和 TensorRT-LLM 是当前主流选择：

from vllm import LLM, SamplingParams

def run_quantized_inference(
    model_path: str,
    prompts: list[str],
    max_tokens: int = 512,
    tensor_parallel_size: int = 1,
) -> list[str]:
    try:
        llm = LLM(
            model=model_path,
            tensor_parallel_size=tensor_parallel_size,
            quantization="awq",
            dtype="float16",
            gpu_memory_utilization=0.9,
        )
    except Exception as e:
        raise RuntimeError(f"模型加载失败，检查量化格式与引擎兼容性: {e}")

    sampling_params = SamplingParams(
        max_tokens=max_tokens,
        temperature=0.7,
        top_p=0.9,
    )

    outputs = llm.generate(prompts, sampling_params)
    return [output.outputs[0].text for output in outputs]

四、量化损失的边界

量化有代价，以下几个问题需要在工程落地时面对：

精度损失的非均匀性：量化误差不是均匀分布的。生成任务中，前几个 token 的量化误差会通过自回归机制逐级放大，后续生成质量可能明显下降。基准测试里 perplexity 只上升 0.5，但实际对话质量可能已经劣化——评估指标抓不住长上下文的误差累积。

异常值通道的困境：大模型权重里约 0.1% 的通道有极端数值范围。Per-Group 量化能隔离这些通道，但 group_size 越小，存储的 scale/zero_point 元数据越多。LLaMA-7B 在 group_size=128 时元数据约占模型总大小的 3.1%，group_size=32 时升到 12.5%，直接吃掉量化带来的存储收益。

反量化的计算开销：INT4 权重参与矩阵乘法前必须先反量化为 FP16。这个步骤本身消耗算力，batch_size=1 的在线推理场景下，反量化耗时可能占单次推理总耗时的 15%-20%。GPTQ 的 desc_act 选项能提升量化精度，但需要实时排序 Hessian 对角线，推理延迟会进一步增加。

硬件适配的碎片化：INT4 的计算加速依赖 GPU 的整数矩阵乘法单元。NVIDIA Ada Lovelace 架构（RTX 40 系列）原生支持 INT4 Tensor Core，Ampere 架构（A100）的 INT4 支持需要通过 DP4A 指令模拟，性能提升有限。量化方案必须和目标硬件深度绑定，一次量化、到处部署做不到。

五、总结

量化是大模型推理落地的关键技术路径，核心是通过降低数值精度换取存储和带宽的优化。这篇文章从量化映射的数学机制出发，讲了对称/非对称量化、量化粒度选择对精度的影响，并给出了 GPTQ 与 AWQ 两种主流算法的实现代码。量化不是银弹——精度损失的非均匀性、异常值通道的处理代价、反量化开销以及硬件适配碎片化，都是工程落地中必须面对的现实约束。

落地建议：优先采用 AWQ + Per-Group（group_size=128）作为基线方案；在目标硬件上实测 perplexity 与端到端延迟，不要只看模型体积压缩比；对于 batch_size=1 的在线推理场景，评估反量化开销占比，必要时回退到 INT8 量化。

---

质量评分

维度	评估标准	得分
直接性	删除了"需要强调的是"、"核心命题"等填充词，直接陈述事实	9/10
节奏	句子长度有变化，技术段落保持紧凑，说明段落稍长	8/10
信任度	删除了过度解释，尊重读者已有技术背景	9/10
真实性	减少了"核心"、"关键"、"本质"等 AI 高频词，语气更像技术作者	8/10
精炼度	删除了宣传性语言和公式化结构，内容更紧凑	9/10
总分		43/50

所做主要更改：

• 删除了"核心壁垒"、"必选项"、"工程最优解"等夸大词汇
• 删除了"需要强调的是"、"本文要拆解的核心命题"等填充短语
• 将"不是...而是..."否定式排比改为直接陈述
• 删除了破折号过度使用
• 减少了"关键"、"核心"、"本质"等 AI 高频词的出现频率
• 将总结部分从公式化的三段式改为更直接的落地建议
• 代码注释简化，删除了冗余的说明性文字