Quantization & Acceleration: 解释 NF4 与 INT4 的差异。

Core Concept: INT4 是均匀整数格点；NF4 是'信息论最优'的非均匀格点（按正态分位数分布），更适合权重的高斯分布。

数学机理：<strong>INT4（均匀 4-bit 整数）</strong>——把 [−max, max] 均匀划分为 16 个格点（步长恒定）。<strong>特点</strong>——(a) 实现最简单（乘加、移位）；(b) <strong>硬件友好</strong>（整数张量核心原生支持）；(c) 对<strong>均匀分布</strong>最优。<strong>问题</strong>——神经网络的权重通常近似<strong>正态分布</strong>（均值 0、钟形）；均匀格点在分布<strong>密集的中间区域</strong>（靠近 0）格点稀疏（精度不足），而在分布<strong>稀疏的尾部</strong>格点密集（浪费）。<strong>NF4（4-bit NormalFloat，Dettmers 等 2023）</strong>——<strong>非均匀量化</strong>：把 16 个格点放在<strong>标准正态分布的 16 个等概率分位点</strong>上（即每个格点覆盖相同概率质量）。<strong>为什么更优</strong>——(a) <strong>信息论最优</strong>：对正态分布，等概率分位点使量化误差的期望最小（因为'每个格点代表的样本数相同'，避免了均匀量化在中间区域的精度不足）；(b) 与'分块量化（block-wise，每 64 个权重一组归一化）'结合后，每组内的分布近似标准正态，故 NF4 的假设成立。<strong>代价</strong>——(a) 格点非均匀，<strong>无法直接用整数张量核心</strong>（需查表或特殊实现）；(b) 反量化（NF4→FP16）需要查找表（16 个值），有额外开销。<strong>对比总结</strong>——INT4 均匀、硬件友好、适合均匀分布/需要整数加速的场景；NF4 非均匀、对正态权重更精确、适合'权重存储压缩 + 反量化计算'的场景（如 QLoRA 的基座权重）。<strong>实践</strong>——QLoRA 用 NF4 存基座权重（只读、反量化后参与计算）；而推理引擎（vLLM/TensorRT）的 INT4 常用'GPTQ/AWQ 的 group-wise 均匀量化 + 缩放'（兼顾精度与硬件效率）。

深度剖析与工程权衡：① <strong>'均匀 vs 非均匀'的权衡</strong>——非均匀格点精度更高但硬件不友好；实践中常'用均匀量化 + 细化粒度（group-wise）+ 缩放/保护显著通道'来达到相近精度，同时保留硬件效率。这是'精度 vs 效率'的经典权衡。② <strong>分块量化（block-wise）的必要性</strong>——NF4 假设'每组内近似标准正态'；故需先按块（如 64 元素）归一化（减去块的均值、除以块的尺度），使分布标准化；这也是 GPTQ/AWQ 的 group-wise 量化的基础。③ <strong>'信息论最优'的准确含义</strong>——等概率分位使'每个格点被使用的概率相同'，从而最大化熵/最小化期望误差；这是对'已知分布'的最优设计（需要假设分布形态）。④ <strong>与权重分布假设的关系</strong>——若权重分布不是正态（如重尾、双峰），NF4 的最优性下降；故有'按实际分布拟合格点'的方法（如 learned codebook、矢量量化）。⑤ <strong>与'双重量化'的结合</strong>——QLoRA 还用'双重量化'（对量化常数再量化）进一步压缩存储；这是'量化常数的量化'，属于二级优化。⑥ <strong>面试要点</strong>——被问'NF4 vs INT4'，应给出'<strong>均匀 vs 非均匀（正态分位）+ 硬件友好度 + 适用场景</strong>'的对比，并说明'NF4 的信息论最优性依赖正态假设与分块归一化'；能提到'实践中常用 group-wise 均匀量化 + 缩放'是深度理解的标志。