Mixture of Experts (MoE): 比较稠密模型与 MoE 的推理特性。

Core Concept: 同激活参数下 MoE 质量更好但显存需求 ∝ 总参数、计算不规则；稠密模型显存小、计算规则、吞吐更优。

数学机理：<strong>对比维度一：显存</strong>——稠密模型的显存 ∝ 参数量；MoE 的显存 ∝ <strong>总参数量</strong>（所有专家都要驻留），但 FLOPs ∝ 激活参数。故 MoE 用'更大的显存'换'同 FLOPs 下更好的质量'。<strong>对比维度二：计算规则性</strong>——稠密模型的每 token 计算路径相同，可用<strong>大矩阵乘</strong>（高效、规则）；MoE 的每个 token 走不同专家，故 (a) <strong>batch 内计算不规则</strong>（需按专家分组、或填充到相同大小）、(b) <strong>难以利用大矩阵乘的峰值效率</strong>、(c) <strong>专家负载不均导致部分设备空闲</strong>。<strong>对比维度三：延迟与吞吐</strong>——(a) <strong>低 batch（单请求）</strong>：MoE 需加载全部专家权重（显存带宽压力大）但只算 k 个，故<strong>权重加载开销大</strong>（memory-bound 加剧）；同时不规则计算使 GPU 利用率低。故 MoE 在<strong>小 batch 下效率较差</strong>（甚至慢于同激活参数的稠密模型）。(b) <strong>大 batch（高并发）</strong>：不同 token 路由到不同专家，能填满各专家的计算（负载更均衡），故<strong>大 batch 下 MoE 的效率提升</strong>（专家被充分利用）。<strong>对比维度四：质量</strong>——在<strong>同等激活参数/FLOPs</strong> 下，MoE 通常<strong>优于</strong>稠密模型（因为总参数量更大、知识容量更高）；在<strong>同等总参数</strong>下，MoE 的激活参数更少，故单 token 计算更快。<strong>结论</strong>——MoE 适合'显存充裕、高并发、追求质量'的场景；稠密模型适合'显存受限、低延迟、部署简单'的场景。

深度剖析与工程权衡：① <strong>'每 token 激活参数'不能直接对标稠密模型</strong>——虽然 MoE 的激活参数（如 13B）与稠密模型（13B）的 FLOPs 相近，但 MoE 的<strong>总参数更大</strong>（47B），故其'知识容量'更高；但 MoE 也<strong>不能</strong>达到'47B 稠密模型'的质量（因为每 token 只用了部分容量）。故 MoE 的质量介于'同激活参数的稠密模型'与'同总参数的稠密模型'之间（更接近前者但略高）。② <strong>低 batch 的困境</strong>——单请求推理时 MoE 需读取全部专家权重（显存带宽瓶颈），而只算 k 个（算力浪费）；故 MoE 的<strong>单请求延迟</strong>可能不优于稠密模型，甚至更差。这使 MoE 在'个人助手/边缘'场景不友好。③ <strong>与量化的结合</strong>——MoE 的显存压力大，故量化（尤其专家权重的低比特量化）对 MoE 部署尤其重要。④ <strong>与专家并行的关系</strong>——大 MoE 推理需多卡（EP），增加了部署复杂度与通信开销；故 MoE 更适合'服务端高并发'而非'端侧'。⑤ <strong>路由的不确定性</strong>——MoE 的计算路径依赖输入，故延迟<strong>不可预测</strong>（不同请求的专家分布不同），对 SLO 严格的场景不利。⑥ <strong>面试要点</strong>——被问'MoE 与稠密模型怎么选'，应从'<strong>显存（总参数 vs 参数）、计算规则性、batch 敏感性、质量定位</strong>'四维对比，并说明'MoE 适合高并发服务端、稠密适合低延迟/端侧'；能指出'MoE 质量介于同激活与同总参数的稠密模型之间'是深度理解的标志。