⚡ 大语言模型ID: moe-routing

MoE 路由 Top-k

Q: MoE 路由如何工作?top-k 选择意味着什么?

【MoE 路由 Top-k 核心考点 1】MoE 路由如何工作?top-k 选择意味着什么?。技术解析：定义: MoE (Mixture-of-Experts) 在 FFN 层放置 N 个专家,门控网络 g(x) = \text{softmax}(W_g x) 为每个 token 打分并选 top-k 个专家,输出为加权和 y = \sum_{i \in \text{top-}k} g_i(x) E_i(x);以 DeepSeek-V3 为例,总参 671B,但每个 token 仅激活 37B——稀疏激活是 MoE 的核心机制。 使用场景: 大规模预训练——在相同 FLOPs 预算下用更多参数换取更大容量;推理时只计算被路由到的专家,降低每 token ... 完整推导与工程落地见：https://talentme.airsota.com/resources/tech/roadmap/mindmap/LLM/card/moe-routing

Q: 为什么 671B 总参只有 37B 激活?激活参数的含义?

【MoE 路由 Top-k 核心考点 2】为什么 671B 总参只有 37B 激活?激活参数的含义?。技术解析：定义: MoE (Mixture-of-Experts) 在 FFN 层放置 N 个专家,门控网络 g(x) = \text{softmax}(W_g x) 为每个 token 打分并选 top-k 个专家,输出为加权和 y = \sum_{i \in \text{top-}k} g_i(x) E_i(x);以 DeepSeek-V3 为例,总参 671B,但每个 token 仅激活 37B——稀疏激活是 MoE 的核心机制。 使用场景: 大规模预训练——在相同 FLOPs 预算下用更多参数换取更大容量;推理时只计算被路由到的专家,降低每 token ... 完整推导与工程落地见：https://talentme.airsota.com/resources/tech/roadmap/mindmap/LLM/card/moe-routing

Q: 门控网络的输入与训练方式是什么?

【MoE 路由 Top-k 核心考点 3】门控网络的输入与训练方式是什么?。技术解析：定义: MoE (Mixture-of-Experts) 在 FFN 层放置 N 个专家,门控网络 g(x) = \text{softmax}(W_g x) 为每个 token 打分并选 top-k 个专家,输出为加权和 y = \sum_{i \in \text{top-}k} g_i(x) E_i(x);以 DeepSeek-V3 为例,总参 671B,但每个 token 仅激活 37B——稀疏激活是 MoE 的核心机制。 使用场景: 大规模预训练——在相同 FLOPs 预算下用更多参数换取更大容量;推理时只计算被路由到的专家,降低每 token ... 完整推导与工程落地见：https://talentme.airsota.com/resources/tech/roadmap/mindmap/LLM/card/moe-routing

Q: top-1 与 top-2 路由的权衡?

【MoE 路由 Top-k 核心考点 4】top-1 与 top-2 路由的权衡?。技术解析：定义: MoE (Mixture-of-Experts) 在 FFN 层放置 N 个专家,门控网络 g(x) = \text{softmax}(W_g x) 为每个 token 打分并选 top-k 个专家,输出为加权和 y = \sum_{i \in \text{top-}k} g_i(x) E_i(x);以 DeepSeek-V3 为例,总参 671B,但每个 token 仅激活 37B——稀疏激活是 MoE 的核心机制。 使用场景: 大规模预训练——在相同 FLOPs 预算下用更多参数换取更大容量;推理时只计算被路由到的专家,降低每 token ... 完整推导与工程落地见：https://talentme.airsota.com/resources/tech/roadmap/mindmap/LLM/card/moe-routing

Q: MoE 为什么能同时降低训练和推理成本?

【MoE 路由 Top-k 核心考点 5】MoE 为什么能同时降低训练和推理成本?。技术解析：定义: MoE (Mixture-of-Experts) 在 FFN 层放置 N 个专家,门控网络 g(x) = \text{softmax}(W_g x) 为每个 token 打分并选 top-k 个专家,输出为加权和 y = \sum_{i \in \text{top-}k} g_i(x) E_i(x);以 DeepSeek-V3 为例,总参 671B,但每个 token 仅激活 37B——稀疏激活是 MoE 的核心机制。 使用场景: 大规模预训练——在相同 FLOPs 预算下用更多参数换取更大容量;推理时只计算被路由到的专家,降低每 token ... 完整推导与工程落地见：https://talentme.airsota.com/resources/tech/roadmap/mindmap/LLM/card/moe-routing

MoE Routing Top-k

🎯核心定义

MoE (Mixture-of-Experts) 在 FFN 层放置

N

个专家,门控网络

g(x) = \text{softmax}(W_g x)

为每个 token 打分并选 top-

k

个专家,输出为加权和

y = \sum_{i \in \text{top-}k} g_i(x) E_i(x)

;以 DeepSeek-V3 为例,总参 671B,但每个 token 仅激活 37B——稀疏激活是 MoE 的核心机制。

💡使用场景

大规模预训练——在相同 FLOPs 预算下用更多参数换取更大容量;推理时只计算被路由到的专家,降低每 token 计算量;Llama 4、DeepSeek、Mixtral 等主流模型均采用 top-2 或更大 top-k 路由。

⚡解决的核心痛点

Dense 模型扩参意味着同比例增加计算量;MoE 用条件计算 (conditional computation) 打破“参数量≈计算量”的绑定,让总参数可以数倍于激活参数,在算力预算不变时显著提升模型容量与能力上限。

🎯核心面试考点体系 (Exam Points)

基础原理 · 工业场景 · 深入排雷

基础·定义

请阐明【MoE 路由 Top-k】的本质定义、底层数学/架构运作机制与关键原理。

基础·场景

在实际工业生产体系中，【MoE 路由 Top-k】适用于哪些典型场景？解决了什么核心工程痛点？

🔥 高频进阶实战考点 (Top 5 Deep-Dive Questions)

MoE 路由如何工作?top-k 选择意味着什么?

为什么 671B 总参只有 37B 激活?激活参数的含义?

门控网络的输入与训练方式是什么?

top-1 与 top-2 路由的权衡?

MoE 为什么能同时降低训练和推理成本?

📖 关联深度指南:📄 moe-architecture →

更新于 2026-08-12

🎯

检验攻克程度：针对「MoE 路由 Top-k」专属刷题排雷

做单选排雷题、推导选项机制，答错自动收录进专属错题本。

🚀 开始本考点专项刷题 ➔

← 上一个知识点知识蒸馏下一个知识点 →负载均衡损失

MoE 路由 Top-k

🔗 更多 大语言模型 知识点卡片

🔗 更多大语言模型知识点卡片