Weight Initialization: 什么是 μP（最大更新参数化）？它解决什么问题。

Core Concept: 按宽度调整初始化与学习率，使最优超参在不同宽度下可迁移（超参迁移）。

问题的背景（<strong>超参迁移失败</strong>）：在标准参数化（SP）下，若把模型的隐藏宽度从 256 增到 4096，最优学习率会<strong>系统性漂移</strong>（通常需要变小）——这意味着每次改模型规模都要重新搜索超参，成本极高。<strong>根因</strong>：宽度增加会改变前向/反向传播中各层的方差尺度（如标准初始化下激活方差随宽度变化），使有效学习率随宽度漂移。<strong>μP（Maximal Update Parametrization）</strong> 的解法：<strong>按宽度</strong>调整初始化与学习率——① 隐藏层初始化方差 ∝1/fan_in（保持方差）；② <strong>输出层/读取层的学习率 ∝1/width</strong>（关键修正）；③ 其他参数的学习率按宽度分档调整。<strong>结果</strong>：在 μP 下，最优超参（尤其学习率）<strong>与宽度无关</strong>——故可用小模型（如 width=256）搜索超参，直接迁移到大模型（width=8192），节省大量成本。<strong>理论依据</strong>是 Tensor Programs 框架（Yang & Hu），它系统分析了'哪些参数化能使无限宽极限下的学习动力学有良好定义'。

实践要点与价值：① <strong>核心实用价值</strong>——<strong>超参迁移</strong>：这是 μP 最大的卖点，对训练大模型极其重要（否则每次改规模都要重新扫超参）；实践中先用小模型扫超参、再零样本迁移到大模型。② <strong>与宽度之外维度</strong>——μP 主要解决<strong>宽度</strong>的迁移；对深度、序列长度、batch size 的迁移有相应理论（如深度 μP、batch size 的临界分析），但不如宽度成熟。③ <strong>实现方式</strong>——需修改初始化（按 fan_in 缩放）与优化器的参数分组（不同层用不同的学习率缩放）；有开源实现（如 <code>mup</code> 库）可直接套用。④ <strong>与标准做法的关系</strong>——μP 与'残差分支 1/√(2L) 缩放'、'AdamW 解耦衰减'等技巧互补；GPT-2 的缩放初始化是 μP 思想的一个特例。⑤ <strong>实践建议</strong>——若训练规模会显著变化（如从实验到生产），值得采用 μP；若规模固定，标准参数化 + 网格搜索也能工作（μP 的收益主要在'跨规模迁移'）。⑥ <strong>局限</strong>——μP 的理论假设（无限宽极限）在有限宽下只是近似；且实现比标准训练复杂（需小心参数分组与缩放），调试成本高；实践中应先验证迁移是否真的有效（用两个宽度对比）。