Gradient Vanishing & Explosion: 解释 embedding 与输出层的梯度尺度问题（logit 缩放）。

Core Concept: 输出层 logit 随隐藏维度增大而增大，导致 softmax 梯度饱和、embedding 梯度失衡；用 logit 缩放/μP 修正。

数学机理：设隐藏向量 h∈ℝ^d（各分量方差约 1）、输出权重 W∈ℝ^{V×d}，则 logit z=hW^T 的每个分量是 d 个独立项之和，方差 ∝ d·Var(W)。若 W 用标准初始化（Var(W)=1/d），则 Var(z)≈1（合理）；但若用 Var(W)=1/√d 或 1（不随 d 缩放），则 Var(z)∝√d 或 d——<strong>logit 幅度随隐藏维度增长</strong>，使 softmax 进入饱和区（最大 logit 主导、其余概率趋 0），进而 (a) softmax 的梯度趋 0（饱和）、(b) 输出层与 embedding 层收到异常尺度的梯度。此外，<strong>输出层梯度</strong> ∂L/∂W_out=(p−y)h^T 的尺度取决于 (p−y)（softmax 误差）；<strong>embedding 层梯度</strong>只在出现的 token 上非零（稀疏），其有效范数天然小于稠密层——若二者权重共享（tied embedding），则两组梯度叠加，尺度更复杂。<strong>μP 的修正</strong>：在最大更新参数化下，输出层权重应初始化为 1/d（而非 1/√d），且 logits 需乘一个 1/d 或 1/√d 的缩放，使 logit 方差与宽度无关。<strong>logit soft-capping</strong>（Gemma-2）则直接把 logit 限制在 [−c, c]，防止极端 logit 主导。

深度剖析与工程权衡：① <strong>为什么不缩放会出问题</strong>——logit 幅度大 → softmax 接近 one-hot → 梯度饱和、训练不稳；同时 attention logits 过大会使注意力过度集中（'attention entropy 崩塌'），损害长上下文能力。② <strong>注意力的对应问题</strong>——注意力分数 q·k/√d_k 中的 1/√d_k 缩放正是同一问题的修正：若不除 √d_k，logit 方差 ∝d_k、softmax 饱和；故 QK-Norm 或 1/√d_k 是必需项。③ <strong>μP 的完整规则</strong>——隐藏层用 1/√fan_in（标准）、输出层用 1/fan_in、输入层（embedding）用 1（不缩放）、lr 随宽度反向缩放；这套规则使超参可跨宽度迁移，是'大模型超参可预测'的理论基础。④ <strong>tied embedding 的权衡</strong>——共享输入 embedding 与输出层可省参数量（V×d）并提升小模型效果，但使两组梯度耦合；大模型常不共享（因 V 大、共享会限制表达）。⑤ <strong>实践诊断</strong>——记录 logits 的绝对最大值与 softmax 熵：若熵持续下降趋于 0，说明 logit 失控。⑥ <strong>面试要点</strong>——被问'为什么 attention 要除以 √d'，答'控制 logit 方差与宽度无关、避免 softmax 饱和'；若进一步追问'输出层呢'，答 μP 的 1/d 缩放，展示深度理解。