M7-063M7: 检索、排序与推荐系统深度推荐模型Hard
⚡闪卡盲测➔掌握度:

解释 ESMM 解决样本选择偏差(SSB)的思路

🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
下一题: M7-064 →
📐 核心数学机理公式
p(CTCVR)⏟entire space=p(CTR)⏟entire space×p(CVR)⏟entire space;train on all samples\underbrace{p(\text{CTCVR})}_{\text{entire space}}=\underbrace{p(\text{CTR})}_{\text{entire space}}\times\underbrace{p(\text{CVR})}_{\text{entire space}};\qquad \text{train on all samples}
⚡ 一句话直击要害答案
CTR 与 CVR 的样本空间不同(CVR 只在点击样本上训练);ESMM 在全样本空间建模 'pCTCVR = pCTR × pCVR',用 CTCVR 的标签训练。

📌 核心要点提炼

  • •
    问题:CVR 只在'点击'样本上训练(样本空间有偏)
  • •
    SSB:训练分布(点击样本)≠ 推理分布(全样本)
  • •
    ESMM:建模 pCTCVR = pCTR × pCVR,在全样本上训练,共享嵌入

📐 数学机理与严密推导

数学机理:两个问题——(1) 样本选择偏差(Sample Selection Bias,SSB)——(a) CVR(转化率) 的定义是'在点击的条件下转化的概率':p(conversion | click);(b) 故 CVR 模型只能用'点击'样本训练(因为'未点击'的样本不知道'是否会转化');(c) 问题——训练分布(点击样本)与推理分布(全样本)不一致;(d) 后果——(i) 模型学到的是'点击样本上的规律'(而这些样本是'有偏'的——被点击的物品与未被点击的物品不同);(ii) 推理时(对全样本预估)表现下降;(e) 本质——这是'分布偏移'问题(训练分布 ≠ 推理分布)。(2) 数据稀疏(DS)——点击样本远少于曝光样本(CTR 常 1%~10%)→ CVR 的训练数据更少 → 更易过拟合。ESMM(Entire Space Multi-task Model,Ma 等 2018,阿里) 的解法——(1) 核心恒等式——利用概率的乘法关系:p(CTCVR) = p(CTR) × p(CVR),其中 CTCVR = '点击且转化'(即'曝光后的转化');(2) 在全样本空间建模——(a) CTR 塔——预测 p(CTR)(用全样本训练,因为'是否点击'对全样本已知);(b) CVR 塔——预测 p(CVR)(但不用 CVR 的标签训练!);(c) CTCVR 塔——把两个塔的输出相乘:p(CTCVR) = p(CTR) × p(CVR),用 CTCVR 的标签(全样本已知) 训练;(d) 关键——CVR 塔虽然只在'点击样本'上有意义,但它的参数通过'CTCVR 塔的损失'在'全样本'上被训练(因为 CTCVR 的标签对全样本已知);(e) 这绕过了'CVR 只能点击样本训练'的限制——CVR 塔在全样本空间上被间接训练。(3) 共享嵌入——两个塔共享特征嵌入(CTR 塔有大量数据,可帮助 CVR 塔学习更好的嵌入);效果——缓解 CVR 的数据稀疏。(4) 推理——预估 CVR 时,直接用 CVR 塔的输出(或 CTR×CVR 得到 CTCVR)。优势——(a) 消除 SSB(CVR 塔在全样本空间训练);(b) 缓解数据稀疏(共享嵌入 + 全样本训练);(c) 端到端(一个模型);(d) 简单有效。实证——ESMM 在阿里的场景显著提升 CVR 预估(AUC 提升数点);成为'CVR 预估'的标准方法。后续发展——(a) ESM2(多任务版本,加入'是否购买'等多个目标);(b) HM3(Hierarchical Multi-task)(建模'点击→加购→购买'的层级);(c) MMoE + ESMM 组合(多任务 + 全样本空间)。与其他问题的关系——(a) 与'样本选择偏差'(推荐/广告的普遍问题);(b) 与'多任务学习'(共享嵌入);(c) 与'因果推断'(SSB 是因果问题——'点击'是一个'后处理变量')。实践建议——(a) CVR 预估用 ESMM(消除 SSB);(b) 共享嵌入(缓解稀疏);(c) 多级转化(点击→加购→购买) 用 HM3;(d) 监控'训练分布 vs 推理分布'的差异;(e) 与多任务模型组合。度量——(a) CVR 的 AUC;(b) 校准(预估 CVR vs 实际);(c) 在线 GMV/转化率。

🏭 深度剖析与工业落地权衡

深度剖析与工程权衡:① 'SSB 的本质是分布偏移'——训练分布(点击样本)≠ 推理分布(全样本);面试中能指出这一点是深度理解的标志。② '用 pCTCVR = pCTR × pCVR 绕过限制'是 ESMM 的核心洞察——它让 CVR 塔在全样本空间被间接训练。③ '共享嵌入缓解稀疏'——CTR 塔的大数据帮助 CVR 塔;这是多任务的经典价值。④ 'SSB 是因果问题'——'点击'是'后处理变量'(post-treatment);这与因果推断的'选择偏差'同源。⑤ 'HM3 建模多级转化'——点击→加购→购买 的层级关系;比单一 CVR 更细。⑥ 面试要点——被问'ESMM 解决什么',应给出'SSB(CVR 只在点击样本训练 → 分布偏移)+ pCTCVR = pCTR × pCVR(在全样本上训练)+ 共享嵌入';能指出'SSB 本质是分布偏移'是深度理解的标志。
⚠️ 常见面试陷阱与高频失分点
  • ✕
    CVR 只在点击样本上训练(分布偏移)
  • ✕
    不用共享嵌入(CVR 数据稀疏)
🎯 面试官连环追问与延伸考察
  • ?
    什么是'样本选择偏差(SSB)'?
  • ?
    ESMM 如何'在全样本上训练 CVR'?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
📚

关联知识库专题与交互式导图

← 上一题M7-062: 解释 MMoE 与多任务学习在推荐中的应用📋 返回题库下一题 →M7-064: 解释推荐中的特征与嵌入设计要点