Mixture of Experts (MoE): 解释共享专家与细粒度专家的设计（DeepSeek-MoE）。

Core Concept: 共享专家对所有 token 生效（捕捉通用知识），细粒度专家更多更小（组合更灵活），提升专家专业化与效率。

数学机理：<strong>问题一：专家冗余</strong>——在传统 MoE 中，每个专家都必须自己学会'通用知识'（如基本的语法、常见词），故多个专家会重复学习相同的基础能力，浪费容量。<strong>共享专家（shared experts）</strong> 的解法：设置若干<strong>始终激活</strong>的专家（对所有 token 生效），专门承载<strong>通用知识</strong>；而被路由的专家则专注于<strong>领域/任务特定的知识</strong>。这样减少了'通用知识在多个专家中重复'的浪费，使被路由的专家更专业化。<strong>问题二：专家粒度</strong>——传统 MoE 的专家数少（如 8）、每个专家大（完整 FFN）；这限制了'专家组合'的灵活性（只能从 8 种组合中选）。<strong>细粒度专家（fine-grained experts）</strong> 的解法：把每个大专家<strong>切分成多个小专家</strong>（如把 8 个切成 64 个，每个更小），并<strong>增大 k</strong>（如 k=6）——这样从 64 个中选 6 个的组合空间是 C(64,6)≈7.5×10⁷，远大于 C(8,2)=28，使模型能更精细地组合专家能力。<strong>DeepSeek-MoE 的组合</strong>——共享专家（保证通用能力、且缓解负载均衡压力）+ 细粒度路由专家（提升组合灵活性）；论文报告在同等激活参数下显著优于传统 MoE（在同等预算下达到更好的效果）。<strong>DeepSeek-V3 的延续</strong>——进一步用'无辅助损失的均衡策略'（可学习偏置）+ 更细粒度的专家，把 MoE 的效率推到新水平。

深度剖析与工程权衡：① <strong>共享专家的多重收益</strong>——(a) 减少冗余（通用知识只学一次）；(b) <strong>缓解负载均衡压力</strong>（因为部分参数是共享的、不参与路由，故路由专家的负载更易均衡）；(c) <strong>保证基础能力</strong>（无论路由如何，模型总有通用的 FFN 可用，避免'某 token 路由到不合适的专家'导致质量崩塌）。② <strong>细粒度专家的代价</strong>——专家更多更小意味着 (a) <strong>通信更碎</strong>（all-to-all 的粒度更细）、(b) <strong>每个专家的 batch 更小</strong>（计算效率下降）；故需在'组合灵活性'与'计算效率'间权衡。③ <strong>与'专家专业化'的观察</strong>——研究显示细粒度专家确实学到更细的分工（如某些专家处理特定语法结构、特定领域词）；这印证了'组合灵活性提升质量'的机制。④ <strong>与负载均衡的关系</strong>——共享专家'总是激活'，相当于把一部分计算从'路由'中拿出来，故路由部分的负载更易均衡；这是 DeepSeek-MoE 能'更激进地稀疏'的原因之一。⑤ <strong>与 MoE 部署的结合</strong>——共享专家是稠密的（每 token 都算），故部署时共享专家的权重需在每卡都有（或复制），而路由专家用 EP 分片；这简化了部署（共享部分不通信）。⑥ <strong>面试要点</strong>——被问'DeepSeek-MoE 的改进'，应给出'<strong>共享专家（减少冗余 + 缓解均衡压力）+ 细粒度专家（增大组合空间）</strong>'两条，并解释'组合数 C(64,6) ≫ C(8,2)'的量化对比；能联系到'无辅助损失均衡'是深度理解的标志。