PEFT (LoRA / QLoRA / Prefix Tuning): 解释 QLoRA 的三项关键技术。

Core Concept: NF4 量化（4-bit 正态分位）+ 双重量化（量化常数量化）+ 分页优化器（防显存尖峰），叠加 LoRA。

数学机理：<strong>QLoRA（Dettmers 等 2023）</strong> 让'单卡微调大模型'成为可能，三项关键技术：(1) <strong>NF4（4-bit NormalFloat）</strong>——<strong>非均匀</strong>的 4-bit 量化：把 16 个格点放在<strong>标准正态分布的等概率分位点</strong>上（每个格点覆盖相同的概率质量）。<strong>为什么优于均匀 INT4</strong>——神经网络的权重近似<strong>正态分布</strong>（钟形）；均匀量化在分布<strong>密集的中间区域</strong>格点稀疏（精度不足）、在<strong>稀疏的尾部</strong>格点密集（浪费）；NF4 的等概率分位使'每个格点代表的样本数相同'，从而在信息论意义上<strong>最小化量化误差</strong>。<strong>前提</strong>——需先做<strong>分块归一化</strong>（每 64 个权重一组，减均值除尺度），使组内分布近似标准正态。(2) <strong>双重量化（double quantization）</strong>——量化需要存储'量化常数'（每块的 scale/zero）；若块很小（64），则常数的开销可观（如 0.5 bit/参数）。<strong>做法</strong>——对这些<strong>常数本身再做一次量化</strong>（8-bit）；这进一步节省显存（论文报告约再省 0.37 bit/参数）。<strong>收益</strong>——对 65B 模型，双重量化节省约 3GB。(3) <strong>分页优化器（paged optimizers）</strong>——训练中可能遇到<strong>显存尖峰</strong>（如长序列的激活、梯度检查点的临时分配）导致 OOM；<strong>做法</strong>——用 NVIDIA 的<strong>统一内存（unified memory）</strong>，在显存不足时自动把优化器状态<strong>分页到 CPU 内存</strong>，需要时再换回；这避免了因瞬时尖峰导致的训练中断。<strong>叠加 LoRA</strong>——QLoRA 的完整配方是'基座 4-bit 量化（NF4）+ 冻结 + LoRA（BF16）微调'；因为基座被量化冻结，故显存需求大幅降低（7B 模型可单卡微调、65B 可双卡）。<strong>效果</strong>——论文报告 QLoRA 微调 65B 模型的质量<strong>接近全精度微调</strong>（在多个基准上差异很小）。<strong>代价</strong>——(a) 量化引入微小误差；(b) 反量化有计算开销（推理稍慢）；(c) 仍需注意 LoRA 的秩与学习率。<strong>与'量化推理'的区别</strong>——QLoRA 是<strong>微调</strong>场景（量化基座 + 训练 LoRA）；量化推理是<strong>部署</strong>场景（量化整个模型）。两者都用量化，但目标不同。

深度剖析与工程权衡：① <strong>'NF4 的信息论最优性依赖正态假设'</strong>——若权重分布不是正态（或未做分块归一化），NF4 的优势下降；故<strong>分块归一化是前提</strong>。② <strong>'双重量化'的收益递减</strong>——它节省的是'量化常数'的开销（与块大小相关）；块越小收益越大（但块太小则归一化统计不准）。③ <strong>'分页优化器'解决的是'尖峰'而非'平均'</strong>——平均显存够但偶发尖峰也会 OOM；分页用 CPU 内存兜底。代价是'换页'时的延迟（若频繁换页则变慢）。④ <strong>'QLoRA vs LoRA'的选择</strong>——若显存充足，用<strong>BF16 LoRA</strong>（无量化误差、更快）；若显存受限（单卡大模型），用 <strong>QLoRA</strong>。⑤ <strong>'QLoRA 的质量'</strong>——研究表明与全精度微调的差距很小（但非零）；对'极致质量'要求的场景可考虑更高精度。⑥ <strong>面试要点</strong>——被问'QLoRA 的三项技术'，应给出'<strong>NF4（正态分位量化）+ 双重量化（量化常数量化）+ 分页优化器（防显存尖峰）</strong>'与'<strong>分块归一化是 NF4 的前提</strong>'；能指出'QLoRA 是微调场景、量化推理是部署场景'是深度理解的标志。