负载均衡损失

若不加约束,门控会让 token 扎堆到少数专家,产生负载不均与专家退化 (routing collapse, 少数专家吸收几乎所有信号)。缓解手段: 辅助均衡损失 $\mathcal{L}_{\text{aux}} = \alpha \cdot N \sum_{i=1}^{N} f_i P_i$,其中 $f_i$ 是专家 $i$ 的 token 占比 (实际利用率)、$P_i$ 是路由概率均值,两者之积均匀化即鼓励均匀路由;同时设置专家容量上限 (capacity factor, 每专家最大 token 数 = 容量因子 × 平均负载),超限 token 被丢弃或走残差路径 (recompute/残差连接)。

任何 top-k MoE 训练 (Switch Transformer、Mixtral、DeepSeek-V3 等) 的标配组件;推理时容量上限同样必要,它把单 batch 内的计算量固定在确定边界内,避免个别专家过热拖慢整体延迟。

负载不均使部分专家闲置、部分过载,浪费显存与算力;专家崩溃会让 MoE 退化成少数专家在起作用,能力不如同参 Dense;均衡损失保证每个专家都获得训练信号,容量上限保证训练/推理的确定性。

检验攻克程度：针对「负载均衡损失」专属刷题排雷

做单选排雷题、推导选项机制，答错自动收录进专属错题本。