Optimizers & Second-Order Methods: 解释 Lion 优化器（符号动量）与它的特点。

Core Concept: Lion 只保留动量的符号作为更新方向，用符号一致性决定衰减；更省显存、更快，但需更小 lr 与更大权重衰减。

数学机理：Lion（EvoLved Sign Momentum，Chen 等 2023）用<strong>符号函数</strong>替代 Adam 的 m̂/√v̂ 归一化：更新方向 u_t=sign(β₁m_{t−1}+(1−β₁)g_t)，其中 m 的更新用<strong>不同的 β₂</strong>（与求 u 用的 β₁ 分离）。关键观察：sign 操作的输出是 ±1（或 0），故<strong>所有参数的步长绝对值相同（均为 η）</strong>，这实现了比 Adam 更强的'逐参数自适应'——Adam 的更新量级虽被归一化到约 η，但仍随 m̂ 幅度波动；Lion 则完全抹平。代价是：(a) sign 不可导、无法用标准的收敛分析框架（Lion 的收敛证明依赖额外的假设与'梯度有界'条件）；(b) 因为更新是 ±1 的'等幅震荡'，Lion 对 lr 更敏感、且更容易在噪声方向上积累（需要更强的权重衰减来抑制）。此外 Lion 只维护一份动量 m，优化器状态从 Adam 的 2n 降到 n，显存减半——这是它在超大规模训练中的主要卖点。

深度剖析与工程权衡：① <strong>搜索得到而非推导得到</strong>——Lion 是通过<strong>程序搜索（symbolic program search）</strong>发现的：在包含 sign、clip、momentum 等原语的搜索空间中，以'训练损失下降速度'为奖励，搜索出最优程序。这代表了'自动发现优化器'的新范式（与手工设计 Adam 形成对比）。② <strong>超参迁移性</strong>——论文强调 Lion 的超参在不同模型规模间迁移较好（与 μP 的精神一致），但 lr 与 λ 的绝对值与 Adam 差异大（需重新调）。③ <strong>实际收益</strong>——报告的收益是'同等质量下训练步数减少约 2 倍'或'显存减少'；但复现中收益常小于论文，且在某些任务（如小模型、微调）上不如 AdamW。④ <strong>与量化的协同</strong>——更新为 ±1 意味着优化器状态可用极低精度表示（符号/1-bit），与 8-bit/1-bit 优化器的方向天然契合。⑤ <strong>为什么 λ 要更大</strong>——sign 更新对每个参数施加等幅步长，包括那些'梯度主要是噪声'的参数；更大权重衰减提供额外的收缩力，防止噪声驱动的参数漂移。⑥ <strong>面试要点</strong>——提到 Lion 时的加分点是'<strong>自动搜索优化器</strong>'这一方法论，以及'省一半优化器状态显存'这一工程价值；减分点是不知道它与 Adam 的超参不可直接互换。