Quantization & Acceleration: 解释 GPTQ / AWQ / SmoothQuant 三种量化算法的差异。

Core Concept: GPTQ 用二阶（Hessian）逐层最小化量化误差；AWQ 保护激活感知的显著通道；SmoothQuant 把激活难度转移到权重。

数学机理：<strong>三者的目标与机制不同</strong>。<strong>(1) GPTQ（Frantar 等 2022）</strong>——<strong>权重量化（W4A16）</strong>。核心：<strong>逐层</strong>量化，用该层的<strong>输入激活的二阶统计（Hessian H=XXᵀ）</strong> 来决定'量化哪些权重、如何补偿'；具体做法是<strong>按列</strong>量化权重，每量化一列就用 <strong>H 的逆</strong>把误差补偿到尚未量化的列上（OBS/OBC 框架），目标是最小化'量化后的输出误差' ‖WX−ŴX‖²（而非简单按幅度量化）。<strong>效果</strong>——INT4 权重几乎无损（对 7B~70B 模型均有效），且<strong>只需少量校准数据</strong>（128 条左右）。<strong>(2) AWQ（Activation-aware Weight Quantization，Lin 等 2023）</strong>——<strong>权重量化（W4A16）</strong>。核心洞察：<strong>不是所有权重同等重要，应保护'激活大的通道'对应的权重</strong>——即那些'会被重要激活乘到的权重'。做法：先按激活的幅度找出<strong>显著通道（约 1%）</strong>，把这些通道的权重<strong>放大</strong>（scale up）后再量化（放大后量化相对误差更小），推理时再把激活相应缩小。<strong>效果</strong>——在 INT4 下优于 GPTQ（尤其在指令微调模型上），且<strong>不依赖反向传播/Hessian</strong>（更简单、更快）。<strong>(3) SmoothQuant（Xiao 等 2022）</strong>——<strong>W8A8 量化</strong>。核心问题：<strong>激活比权重难量化</strong>（因为激活含离群值）；SmoothQuant 的洞察是<strong>把量化难度从激活转移到权重</strong>：对激活按通道<strong>除以</strong>一个缩放因子 s（平滑激活的离群值），同时把权重<strong>乘以</strong> s（放大权重、但权重本来就好量化）；数学上 Y=(X/s)(sW) 等价，但两边的量化都更容易。s 的选择基于激活与权重的幅度（如 s=max|X|^α/max|W|^{1−α}）。<strong>效果</strong>——使 LLM 的 W8A8 量化可行（此前激活量化会导致严重掉点）。<strong>三者对比</strong>——GPTQ/AWQ 解决'权重量化'（W4A16，省显存），AWQ 更简单更优；SmoothQuant 解决'激活量化'（W8A8，省算力与带宽）；三者可组合（如 SmoothQuant + GPTQ 做 W4A8）。

深度剖析与工程权衡：① <strong>'二阶信息 vs 激活感知'的路线差异</strong>——GPTQ 用 Hessian（二阶、需计算 XXᵀ 的逆）、AWQ 用激活幅度（一阶统计、更简单）；实践上 AWQ 因'简单 + 效果好'成为热门选择。这体现'更精确的方法未必更实用'。② <strong>'难度转移'的巧妙</strong>——SmoothQuant 的 Y=(X/s)(sW) 是<strong>数学恒等变换</strong>，但改变了量化难度分布；这是'利用等价变换改善数值性质'的典范（类似 μP 的缩放、RoPE 的旋转）。③ <strong>校准数据的敏感性</strong>——三者的效果都依赖校准数据（GPTQ 128 条、AWQ 类似）；若校准数据与部署分布不匹配，效果下降。这是量化部署的常见坑。④ <strong>'per-channel vs per-group'的粒度</strong>——GPTQ/AWQ 都用 group-wise（如 128 元素一组）量化以提升精度；粒度越细精度越高但元数据开销越大。⑤ <strong>与现代硬件的配合</strong>——W4A16 的 kernel（如 Marlin、ExLlama）已高度优化；W8A8 的 INT8 张量核心（SmoothQuant + TensorRT-LLM）也成熟；故两者都有生产级支持。⑥ <strong>面试要点</strong>——被问'GPTQ/AWQ/SmoothQuant 的区别'，应给出'<strong>目标（权重量化 vs 激活量化）+ 机制（二阶 Hessian / 激活感知保护 / 缩放转移）+ 适用（W4A16 vs W8A8）</strong>'的三维对比，并说明'三者可组合'；能指出'SmoothQuant 是数学恒等变换'与'校准数据敏感性'是深度理解的标志。