M7-062M7: 检索、排序与推荐系统深度推荐模型Medium
⚡闪卡盲测➔掌握度:
解释 MMoE 与多任务学习在推荐中的应用
🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
📐 核心数学机理公式
⚡ 一句话直击要害答案
用多个专家 + 门控为每个任务生成不同的'专家组合';缓解任务冲突(相比共享底层的硬参数共享)。
📌 核心要点提炼
- •多个专家(expert)网络 + 每个任务一个门控(gate)
- •门控为每个任务'加权组合专家'(软共享)
- •对比'硬共享'(共享底层):MMoE 让不同任务用不同专家组合,缓解冲突
📐 数学机理与严密推导
数学机理:MMoE(Multi-gate Mixture-of-Experts,Ma 等 2018) 的机制——(1) '硬参数共享'的问题——多任务学习的最简单做法是'共享底层 + 各自的任务塔';问题——(a) 若任务相关性低,共享底层会产生负迁移(一个任务的学习损害另一个);(b) 共享底层强制'所有任务用同一套表示'(不灵活);(c) 任务冲突时'此消彼长'。(2) MMoE 的设计——(a) 多个专家(expert)——n 个专家网络(每个是一个小 MLP);(b) 每个任务一个门控(gate)——第 k 个任务的门控 g_k(x)=softmax(W_k·x) 输出'对 n 个专家的权重';(c) 任务输出——y_k=Σ_i g_k(x)_i·f_i(x)(该任务对专家的加权组合);(d) 关键——不同任务可以'用不同的专家组合'(软共享);若两任务冲突,它们的门控会学到'使用不同的专家'(从而减少干扰)。(3) 为什么有效——(a) 软共享(比硬共享灵活);(b) 缓解负迁移(冲突的任务用不同专家);(c) 参数高效(专家共享,但组合方式不同);(d) 可解释(门控权重显示'各任务使用了哪些专家')。(4) 与 MoE 的关系——(a) MoE(Mixture of Experts) 用门控选择专家(用于'模型容量扩展',如 MoE 层);(b) MMoE 是'多门控'(每个任务一个门控)——本质是'用 MoE 做多任务学习';(c) 两者都基于'专家 + 门控'。(5) 推荐中的应用——(a) 多目标(CTR + CVR + 时长)——不同目标用不同专家组合;(b) 多场景(首页/搜索/详情页)——不同场景用不同组合(PLE 的动机);(c) 多任务 + 多场景(如腾讯 PLE)。后续发展——(a) PLE(Progressive Layered Extraction)——(i) 区分'共享专家'与'任务专属专家'(避免'共享专家的冲突');(ii) 多层提取(渐进式);(b) CGC(Customized Gate Control)(PLE 的组件);(c) STEM / AITM(其他多任务结构)。实证——(a) MMoE 在多个多任务基准上优于硬共享;(b) PLE 在腾讯的推荐场景显著优于 MMoE;(c) 多任务学习在推荐中广泛使用(因为业务天然多目标)。实践建议——(a) 多目标/多场景 → MMoE/PLE;(b) 任务冲突严重 → PLE(区分共享/专属专家);(c) 专家数(常 4~8)与门控的输入(可用任务 id、场景 id);(d) 监控各任务的表现(防'此消彼长');(e) 与多目标融合结合(MMoE 输出多目标后,再用融合公式组合)。度量——(a) 各任务的 AUC/GAUC;(b) 在线各目标指标;(c) 是否有负迁移(某任务变差)。
🏭 深度剖析与工业落地权衡
深度剖析与工程权衡:① '软共享缓解负迁移'是 MMoE 的核心价值——面试中能指出'硬共享的负迁移'是深度理解的标志。② '每个任务一个门控'是关键设计——它使'不同任务用不同专家组合'。③ 'MMoE 与 MoE 的关系'——MMoE 是'多门控的 MoE'(用于多任务);MoE 用于容量扩展。④ 'PLE 改进共享专家的冲突'——PLE 区分'共享'与'专属'专家;在腾讯场景优于 MMoE。⑤ '门控可解释'——门控权重显示'各任务使用了哪些专家';这是调试的抓手。⑥ 面试要点——被问'多任务学习怎么做',应给出'硬共享(简单但负迁移)/ MMoE(多专家 + 每任务一门控,软共享)/ PLE(区分共享与专属专家)'与'监控是否有负迁移';能指出'软共享缓解负迁移'是深度理解的标志。
⚠️ 常见面试陷阱与高频失分点
- ✕用硬共享底层(任务冲突时负迁移)
- ✕不监控各任务表现(看不到此消彼长)
🎯 面试官连环追问与延伸考察
- ?为什么'硬共享'会有负迁移?
- ?MMoE 与 MoE 的关系?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!