Optimizers & Second-Order Methods: 解释 Adafactor / 8-bit Adam 如何降低优化器显存。

Core Concept: Adafactor 用梯度的行/列二阶矩低秩近似 v，省到 O(n/d)；8-bit Adam 用量化+块缩放把状态压到 1/4。

数学机理：<strong>Adafactor</strong> 的出发点是：对矩阵形状的参数（如 d×d 的权重），其二阶矩 v 的完整存储是 O(d²)，但可用<strong>行统计 r 与列统计 c</strong> 的外积近似：v_ij≈r_i c_j/Σr。只存 r（d 维）与 c（d 维），存储从 O(d²) 降到 O(d)，且可证明在梯度'近似可分解'时误差可控；此外 Adafactor 用<strong>相对步长</strong>（更新量 ∝ 1/√t 的调度）与'更新裁剪'（限制相对变化幅度）替代 ε 与 warmup，进一步省去超参。<strong>8-bit Adam</strong> 走另一条路：不改变 v 的结构，而是把 m、v 从 FP32 量化为 int8（配 <strong>块级缩放因子</strong>：把参数分成 2048 大小的块，每块独立缩放以降低量化误差），存储从 8 字节/参数降到 2 字节/参数，理论压缩 4 倍；同时用'动态量化'（每步重新计算缩放）与'随机舍入'降低偏差累积。

深度剖析与工程权衡：① <strong>显存账本对比</strong>——以 7B 模型为例，Adam 的 m+v（FP32）约 56 GB；Adafactor 约 0.2 GB（2√n 量级）；8-bit Adam 约 14 GB。三者对应不同的训练可行性边界。② <strong>Adafactor 的现代使用</strong>——T5/PaLM 使用 Adafactor（PaLM 用了 Adafactor 的变体）；优点是省显存、无需 warmup；缺点是相对步长与更新裁剪引入的超参不直观、在部分任务上收敛慢于 AdamW。③ <strong>8-bit Adam 的成熟度</strong>——bitsandbytes 的 8-bit Adam 已是 QLoRA 微调的标准组件；其精度损失在绝大多数任务上可忽略（块级缩放是关键）。④ <strong>与 ZeRO 的关系</strong>——ZeRO-2/3 从'跨设备分片'角度解决同一问题；两者可叠加（分片 + 量化）。⑤ <strong>极致压缩</strong>——1-bit Adam/1-bit Lion 用误差反馈（error feedback）补偿量化偏差，把状态压到极致；适用于通信瓶颈而非显存瓶颈的场景。⑥ <strong>面试要点</strong>——回答'如何省优化器显存'应给出<strong>三个正交维度</strong>：减少状态数量（Adafactor/Lion）、降低状态精度（8-bit/1-bit）、跨设备分片（ZeRO）；这是结构化回答的加分项。