大模型量化技术：原理、实践与性能优化

1. 量化技术的工程宿命：突破内存带宽封锁

在2023年之前，大模型推理面临的最大瓶颈不是算力不足，而是数据搬运速度跟不上计算需求。每次生成token时，GPU需要将数十GB的权重数据从显存搬运到计算核心，这种"数据搬运-计算"的往复过程造成了严重的资源浪费。量化技术的本质，就是通过数学手段压缩权重体积，让同样带宽下能传输更多有效数据。

我在部署Llama2-13B模型时做过实测：FP16精度下模型占用26GB显存，而RTX 3090的显存带宽是936GB/s。这意味着即使理论算力达到35 TFLOPS，实际利用率往往不到30%。通过INT4量化后，模型显存占用降至7GB，推理速度提升了近3倍，这就是量化技术最直观的价值。

2. 量化数学原理：从连续到离散的映射艺术

2.1 非对称量化与对称量化的选择困境

非对称量化的数学表达为：

code复制q = round(r/S) + Z
S = (r_max - r_min)/(q_max - q_min)
Z = round(q_min - r_min/S)

这种量化方式能充分利用整数范围的表达能力，特别适合权重分布不均匀的情况。我在量化BERT模型时发现，非对称量化比对称量化在相同bit数下能降低约0.5%的精度损失。

但对称量化(zero-point=0)因其计算高效性，更受硬件厂商青睐。其公式简化为：

code复制q = round(r/S)
S = max(|r_max|, |r_min|)/(2^{b-1}-1)

NVIDIA的TensorRT就默认采用对称量化，因为可以省去零点偏移的加法操作，直接使用整数乘加指令(IMAD)。

2.2 分组量化(Groupped Quantization)的工程权衡

全局使用单一缩放因子会导致显著精度损失。实践中我发现，将权重矩阵划分为多个group(通常128个参数为一组)，每组独立计算scale和zero-point，能在增加少量存储开销的情况下大幅提升精度。以7B模型为例：

• 全局量化：模型大小4.3GB，准确率下降7.2%
• group_size=128：模型大小4.7GB，准确率仅下降1.8%

3. 技术流派演进：PTQ与QAT的路线之争

3.1 训练后量化(PTQ)的工业实践

GPTQ算法