Mixture of Experts (MoE): 解释 MoE 的微调与部署难点。

Core Concept: 微调时路由器易漂移/专家过拟合、显存需求大；部署需多卡 EP、计算不规则、延迟不可预测。

数学机理：<strong>微调难点</strong>——(1) <strong>路由器漂移（router drift）</strong>——预训练时路由器学会了'哪些 token 给哪些专家'的分工；微调数据分布不同（如特定领域），路由器可能大幅改变分配，导致 (a) 破坏预训练学到的专家分工、(b) 部分专家被过度使用而其余闲置、(c) 专家在少量数据上过拟合。<strong>(2) 稀疏梯度</strong>——每个专家只见到部分 token，故其梯度信号较稀疏；在小数据微调时，专家可能'欠训练'或'过拟合'。(3) <strong>显存需求</strong>——微调需存全部专家 + 优化器状态（Adam 的 m/v 对全部参数）；MoE 的总参数量大，故显存需求高（即使只激活部分）。<strong>对策</strong>：(a) <strong>冻结路由器</strong>（只微调专家）或<strong>限制路由器的学习率</strong>（防止漂移）；(b) <strong>只微调部分专家</strong>（如冻结大部分专家、只微调少数或加 LoRA）；(c) <strong>加负载均衡损失</strong>（微调时保持均衡）；(d) <strong>全参数微调 + 足够数据</strong>（若有充足领域数据，漂移可被'重新学习'消化）。<strong>部署难点</strong>——(1) <strong>显存 ∝ 总参数</strong>（需多卡，即使激活少）；(2) <strong>专家并行（EP）的通信开销</strong>（all-to-all）；(3) <strong>计算不规则</strong>（batch 内不同 token 走不同专家，难以用大矩阵乘）；(4) <strong>延迟不可预测</strong>（路由依输入而变）；(5) <strong>量化更复杂</strong>（不同专家需分别校准；且热门/冷门专家的分布差异大）。<strong>实践方案</strong>——(a) 部署用多卡 EP（如 2~8 卡）；(b) 用<strong>连续批处理</strong>提高 batch 以均衡专家负载；(c) 对专家权重量化（降低显存）；(d) 若服务负载低，考虑用<strong>稠密模型</strong>替代。

深度剖析与工程权衡：① <strong>'路由器漂移'是 MoE 微调的核心问题</strong>——因为路由决策是<strong>离散</strong>的（Top-k），微小的 logits 变化可能改变路由结果，进而改变哪些专家被训练，形成正反馈（漂移放大）；故实践中常用'冻结/低 lr 路由器'来稳定。② <strong>LoRA 与 MoE 的结合</strong>——对 MoE 做 LoRA 微调时，通常对所有专家都加 LoRA（保持路由不变）；也可只对'注意力层'加 LoRA（更省参数）。③ <strong>专家专业化的双面性</strong>——预训练中专家可能形成领域分工（如某些专家擅长代码、某些擅长自然语言）；微调到特定领域时，若只激活相关专家，则'专业化'是优势；若路由漂移则损失优势。④ <strong>与 MoE 推理服务的现实</strong>——大 MoE（如 DeepSeek-V3 的 671B 总参数）需数十卡部署，且需高并发才能高效；故'MoE 只在超大规模服务端划算'是当前的实践共识。⑤ <strong>与量化的结合难点</strong>——MoE 的不同专家权重分布差异大，per-tensor 量化不适用；需 per-expert 或 per-channel 量化，且冷门专家（激活少）的校准数据不足。⑥ <strong>面试要点</strong>——被问'MoE 微调/部署的难点'，应给出'<strong>路由器漂移 + 专家过拟合 + 显存 ∝ 总参数 + 计算不规则 + 延迟不可预测</strong>'，并给出'冻结/低 lr 路由器、部分微调、量化、连续批处理'等对策；能指出'冷门专家校准数据不足'是深度理解的加分。