M7-057M7: 检索、排序与推荐系统推荐系统基础Hard
⚡闪卡盲测➔掌握度:
解释推荐系统的评估指标与业务目标
🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
📐 核心数学机理公式
⚡ 一句话直击要害答案
离线用 Recall@k/NDCG/AUC;在线用 CTR/时长/GMV;两者需对齐,且需护栏指标防短期损害长期。
📌 核心要点提炼
- •离线:Recall@k(召回)、NDCG(排序)、AUC/GAUC(CTR 预估)
- •在线:CTR、停留时长、GMV、留存(业务目标)
- •对齐:离线指标需与在线指标相关;护栏指标防短期损害长期
📐 数学机理与严密推导
数学机理:离线指标——(a) 召回阶段——Recall@k(相关物品是否在 top-k)、覆盖率(覆盖多少物品)、新颖性;(b) 排序阶段——NDCG@k(排序质量,考虑位置)、MAP、AUC(CTR 预估的排序能力);(c) AUC 与 GAUC——(i) AUC——全局的排序能力(正样本得分高于负样本的概率);(ii) GAUC(Group AUC)——按用户分组算 AUC 再加权平均;为什么用 GAUC——因为推荐是'每个用户内部排序'(不同用户的分数不可比);全局 AUC 会被'用户间的差异'混淆;故 GAUC 更贴近真实目标(工业界标准)。(d) 校准——若需'概率'(如出价),需评估校准(预测 CTR vs 实际 CTR)。在线指标——(a) 参与度——CTR、点击率、停留时长、会话深度;(b) 转化——CVR、GMV、订单量;(c) 留存——次日/次周留存、DAU/MAU;(d) 生态——内容供给、创作者活跃;(e) 成本——延迟、算力。为什么离线与在线不一致——(a) 特征偏斜(技术);(b) 位置偏置(历史数据有偏);(c) 目标错配(NDCG ≠ CTR);(d) 用户反应(行为随推荐变化);(e) 长期效应(离线无法捕捉)。护栏指标(guardrail metrics)——用来'防止短期优化损害长期'的指标:(a) 用户体验类——负反馈率(不感兴趣/举报)、加载延迟;(b) 生态类——内容多样性、长尾曝光、创作者留存;(c) 业务类——留存、卸载率;(d) 安全类——违规内容率。为什么必需——(a) 只优化 CTR 会'标题党'(短期涨、长期跌);(b) 护栏指标'一票否决'(若恶化则回滚)。对齐离线与在线——(a) 验证相关性(用历史 A/B 结果 vs 离线指标,看是否相关);(b) 用在线代理指标(如'预测的 CTR'作为离线指标);(c) 多指标评估(不只看单一);(d) 长期实验(捕捉长期效应)。实践建议——(a) 离线用 GAUC/NDCG/Recall@k(分阶段);(b) 在线用 CTR + 业务指标 + 护栏;(c) 验证离线-在线相关性(关键!);(d) 离线只做粗筛、A/B 定胜负;(e) 监控护栏指标(防短期损害长期);(f) 长期实验(月度/季度)。度量——(a) 离线指标;(b) 在线指标;(c) 护栏指标;(d) 离线-在线相关性。
🏭 深度剖析与工业落地权衡
深度剖析与工程权衡:① 'GAUC 优于 AUC'是推荐的关键细节——因为推荐是'用户内排序';面试中能指出这一点是深度理解的标志。② '离线-在线相关性需验证'——若离线指标与在线不相关,则离线优化无意义;这是评估体系的核心纪律。③ '护栏指标防短期损害长期'——只优化 CTR 会'标题党';故需护栏。④ '离线只做粗筛'——离线快但不可靠(偏置);A/B 是最终验证。⑤ '校准 vs 排序'——AUC 衡量排序,但若需概率(出价)则需校准(预测 CTR 的准确性);两者不同。⑥ 面试要点——被问'推荐怎么评估',应给出'离线(GAUC/NDCG/Recall@k)+ 在线(CTR/GMV/留存)+ 护栏 + 离线-在线相关性验证'与'GAUC 优于 AUC';能指出'离线只做粗筛'是深度理解的标志。
⚠️ 常见面试陷阱与高频失分点
- ✕只看离线 NDCG 决定上线(可能与在线不符)
- ✕只看 CTR 不看护栏(短期损害长期)
🎯 面试官连环追问与延伸考察
- ?为什么离线指标与在线不一致?
- ?GAUC 与 AUC 的差异?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!