Mixture of Experts (MoE): 解释 MoE 的路由算法（Top-k / expert choice / soft routing）与取舍。

Core Concept: token-choice Top-k 最常见（token 选专家）；expert-choice 让专家选 token（天然均衡）；soft routing 全加权（失去稀疏优势）。

数学机理：<strong>三类路由算法</strong>。<strong>(1) Token-choice（token 选专家）</strong>——每个 token 独立计算专家分数并取 Top-k；这是<strong>最主流</strong>的方案（Switch/Mixtral/DeepSeek 都用）。<strong>优点</strong>——实现简单、每 token 的计算量固定（k 个专家）；<strong>缺点</strong>——<strong>不保证均衡</strong>（可能多个 token 挤向同一专家），需辅助损失或容量限制。<strong>(2) Expert-choice（专家选 token）</strong>——反过来：每个专家根据自己的分数选出固定数量 c 的 token。<strong>优点</strong>——<strong>天然均衡</strong>（每专家处理的 token 数固定，等于 c），无需辅助损失；<strong>缺点</strong>——(a) 某些 token 可能<strong>不被任何专家选中</strong>（需保证每 token 至少被选一次，否则该 token 无 FFN 输出）；(b) 每 token 的专家数不固定（取决于被选情况），计算量不规则。<strong>(3) Soft routing（软路由）</strong>——不做 Top-k 硬选择，而是用<strong>全部专家的加权和</strong>：y=Σ_i g_i(x)E_i(x)。<strong>优点</strong>——完全可微、训练稳定；<strong>缺点</strong>——<strong>失去稀疏性</strong>（每 token 都要算所有专家，计算量 = 稠密模型 ×N），故失去了 MoE 的核心价值；实践中很少单独使用（可用于蒸馏或小规模实验）。<strong>其他变体</strong>——(a) <strong>Top-k with 归一化</strong>（Top-k 后重新归一化权重，Mixtral 用）；(b) <strong>带噪声的 Top-k</strong>（Switch 加高斯噪声到路由 logits 以促进探索与均衡）；(c) <strong>分组路由</strong>（先选组再选组内专家，减少通信）；(d) <strong>可学习偏置</strong>（DeepSeek-V3，用偏置动态调整而不影响任务损失）。<strong>取舍要点</strong>——token-choice 灵活但需均衡机制；expert-choice 均衡但需处理'漏选'；soft 稳定但稠密。

深度剖析与工程权衡：① <strong>为什么 token-choice 成为主流</strong>——因为它与'硬件执行'匹配良好：每 token 的计算量固定（k 个专家），便于批处理与容量规划；而 expert-choice 的'每 token 专家数不固定'会给 kernel 实现带来困难。② <strong>expert-choice 的'漏选'问题</strong>——若某 token 的分数在所有专家上都低，可能不被选中；解法是 (a) 保证每个专家至少选 c 个（强制填满）、(b) 加残差连接（漏选的 token 直接跳过 MoE 层）。③ <strong>soft routing 的例外价值</strong>——在<strong>训练早期</strong>用软路由有助于稳定（避免硬选择的离散性），后期转为硬路由；也有'可微稀疏'的研究（用 Gumbel-Softmax 或 straight-through 实现可微的稀疏选择）。④ <strong>与均衡机制的关系</strong>——token-choice 需辅助损失或容量限制；expert-choice 天然均衡但需处理漏选；DeepSeek-V3 的'可学习偏置'是 token-choice 下的新均衡方案（不干扰任务损失）。⑤ <strong>与通信的关系</strong>——路由算法决定 all-to-all 的模式：token-choice 的通信量固定（每 token k 次）、expert-choice 的通信量固定（每专家 c 次）但 token 侧不均；这对分布式实现有影响。⑥ <strong>面试要点</strong>——被问'MoE 路由怎么做'，应给出'<strong>token-choice（主流，需均衡）/ expert-choice（天然均衡，有漏选）/ soft（稠密，失去优势）</strong>'三类与取舍，并说明'DeepSeek-V3 用可学习偏置实现无辅助损失均衡'；这是 MoE 类问题的深度回答。