量化 PTQ/QAT

量化把 FP16 权重 $W$ 映射到低比特整数 $x_q = \text{round}(x/s) + z$,其中 scale $s = (x_{\max}-x_{\min})/(2^b-1)$、zero-point $z$ 由 b-bit 范围对齐。PTQ (Post-Training Quantization, 训练后量化) 用一小段校准集统计激活/权重分布,直接量化已训练模型,无需重训;QAT (Quantization-Aware Training, 量化感知训练) 在训练中模拟量化误差 (STE 直通估计器: 前向走量化路径、反向近似直通),让模型主动适应量化。

LLM 推理部署以 PTQ 为主 (GPTQ/AWQ 等),因为大模型已训练完成、无法负担重训成本,PTQ 只需分钟级校准;QAT 用于极端低比特 (INT4/INT3 以下)、精度敏感的垂直场景,或在微调阶段联合量化端到端优化。

直接按分布均匀量化会因激活异常值与分布失配造成严重精度损失;PTQ 用校准与误差补偿把损失压到可接受范围,而 QAT 通过训练让权重分布匹配量化器——两者是部署速度与精度的权衡两端:PTQ 快但精度天花板低, QAT 慢但精度上限高。

检验攻克程度：针对「量化 PTQ/QAT」专属刷题排雷

做单选排雷题、推导选项机制，答错自动收录进专属错题本。