Mixture of Experts (MoE): 解释 MoE 的通信挑战与专家并行。

Core Concept: 专家分在不同设备上，token 需 all-to-all 发送到对应专家再取回；通信量与路由不均衡是主要开销。

数学机理：<strong>专家并行（Expert Parallelism, EP）</strong>——当专家数 N 很大（如 64/256）时，无法把全部专家放在一张卡上，故把<strong>不同专家分配到不同设备</strong>（如 8 卡、每卡 8 个专家）。<strong>通信模式</strong>——MoE 层需要<strong>两次 all-to-all</strong>：(1) <strong>分发（dispatch）</strong>——每张卡上的 token 根据路由结果被发送到'承载其目标专家的设备'；(2) <strong>收集（combine）</strong>——专家算完后，结果被送回'原 token 所在的设备'并加权求和。<strong>通信量</strong>——∝ k（每 token 选 k 个专家）× token 数 × d（隐维度）× 2（往返）；注意通信量与<strong>序列长度×batch</strong> 成正比（token 越多通信越多），这与 TP 的'每层通信 ∝ 激活'类似，但 all-to-all 的<strong>模式更复杂</strong>（每 token 的目标设备不同，是不规则的）。<strong>主要挑战</strong>：(a) <strong>通信量大</strong>——尤其在大 batch/长序列时，all-to-all 可能成为主要瓶颈；(b) <strong>负载不均衡</strong>——若热门专家集中在某设备，则该设备的通信与计算都过载（故需负载均衡损失）；(c) <strong>不规则访存</strong>——token 与专家的映射不规律，难以优化；(d) <strong>与 TP/PP 的组合</strong>——EP 需与张量并行（TP）、流水线并行（PP）协调（如'EP + TP + PP + DP'的 4D 并行），通信层次复杂。<strong>优化手段</strong>：(a) <strong>通信与计算重叠</strong>（把 all-to-all 与专家计算流水化）；(b) <strong>专家分组/分片</strong>（把专家按设备分片，减少跨设备通信）；(c) <strong>减少 k</strong>（k=1 通信量减半）；(d) <strong>负载均衡</strong>（避免热点）；(e) <strong>层级 all-to-all</strong>（节点内 NVLink + 节点间 IB 分层）。

深度剖析与工程权衡：① <strong>all-to-all 与 all-reduce 的差异</strong>——all-reduce 是'所有设备对同一张量做归约'（对称、规则），all-to-all 是'每设备把不同数据发给不同设备'（不对称、不规则）；后者的实现与优化难度更高，且对负载均衡敏感。② <strong>'专家并行是新的并行维度'</strong>——与 DP/TP/PP 正交；大 MoE 训练常是'EP + TP + PP + DP'的 4D 并行，配置复杂（需按网络拓扑匹配：EP 跨节点、TP 节点内）。③ <strong>推理侧的挑战</strong>——MoE 推理时，不同 token 路由到不同专家，导致 (a) <strong>batch 内计算不规则</strong>（难以用大矩阵乘）、(b) <strong>显存需容纳全部专家</strong>（故需多卡）；这是 MoE 推理效率低于同激活参数稠密模型的原因。④ <strong>与'专家容量'的关系</strong>——容量限制（capacity factor）使每专家的 token 数有上界，从而<strong>通信与计算量可预测</strong>（便于规划与并行）；超容量的 token 走残差。⑤ <strong>减少通信的思路</strong>——(a) <strong>共享专家</strong>（DeepSeek-MoE：部分专家对所有 token 生效，减少路由差异）；(b) <strong>细粒度专家</strong>（专家更小、更多，组合更灵活但通信更碎）；(c) <strong>本地化路由</strong>（倾向选同设备的专家，减少跨设备通信——有质量代价）。⑥ <strong>面试要点</strong>——被问'MoE 的通信挑战'，应给出'<strong>EP + 两次 all-to-all（dispatch/combine）+ 通信量 ∝k×tokens×d</strong>'与'<strong>负载不均衡是主要痛点</strong>'，并列出优化手段（重叠、分组、减 k、均衡）；能说明'MoE 是第 4 个并行维度'是深度理解的标志。