MoE 路由 Top-k

MoE (Mixture-of-Experts) 在 FFN 层放置 $N$ 个专家,门控网络 $g(x) = \text{softmax}(W_g x)$ 为每个 token 打分并选 top-$k$ 个专家,输出为加权和 $y = \sum_{i \in \text{top-}k} g_i(x) E_i(x)$;以 DeepSeek-V3 为例,总参 671B,但每个 token 仅激活 37B——稀疏激活是 MoE 的核心机制。

大规模预训练——在相同 FLOPs 预算下用更多参数换取更大容量;推理时只计算被路由到的专家,降低每 token 计算量;Llama 4、DeepSeek、Mixtral 等主流模型均采用 top-2 或更大 top-k 路由。

Dense 模型扩参意味着同比例增加计算量;MoE 用条件计算 (conditional computation) 打破“参数量≈计算量”的绑定,让总参数可以数倍于激活参数,在算力预算不变时显著提升模型容量与能力上限。

检验攻克程度：针对「MoE 路由 Top-k」专属刷题排雷

做单选排雷题、推导选项机制，答错自动收录进专属错题本。