M7-098M7: 检索、排序与推荐系统在线指标与实验Hard
⚡闪卡盲测➔掌握度:

解释实验平台的能力要求

🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
下一题: M7-099 →
📐 核心数学机理公式
platform: assignment+metrics+variance reduction+management\text{platform}:\ \text{assignment}+\text{metrics}+\text{variance reduction}+\text{management}
⚡ 一句话直击要害答案
需支持:流量分配(分层/互斥)、指标计算(实时/离线)、方差降低(CUPED)、多重比较校正、以及'实验管理'。

📌 核心要点提炼

  • •
    流量分配:随机化、分层(layer)、互斥域(domain)
  • •
    指标计算:实时/离线、可信(与业务一致)
  • •
    方差降低:CUPED/分层;多重比较校正;实验管理(元数据/生命周期)

📐 数学机理与严密推导

数学机理:实验平台的核心能力——(1) 流量分配(assignment)——(a) 随机化(用户/会话/设备级);(b) 分层(layering)——把流量分成独立的层(layer),不同层可同时跑不同实验(因为层间正交);关键——(i) 同层内的实验互斥(用户只进一个实验);(ii) 不同层可复用同一批用户(提高实验密度);(iii) 前提——层间'正交'(一个实验的处理不影响另一层);(c) 互斥域(domain)——对'相互干扰'的实验(如两个都改首页的实验)放在同一域(互斥);(d) 流量分配(按比例、按维度);(e) 一致性(同一用户在不同实验中'看到一致的处理')。(2) 指标计算(metrics)——(a) 实时(快速看趋势,用于'早停'与'风险监控');(b) 离线(准确,用于最终决策);(c) 口径一致性(与业务报表一致——否则'实验提升'与'业务报表'对不上);(d) 分层指标(新/老用户、场景、物品);(e) 护栏指标(自动监控)。(3) 方差降低(variance reduction)——(a) CUPED(Controlled-experiment Using Pre-Experiment Data)——用'实验前的指标'作为协变量,减去其解释的部分:Y'=Y−θ(X−E[X]);效果——(i) 若'实验前指标'与'实验指标'相关,则 Y' 的方差降低;(ii) 通常降低 30%~50% 的方差(相当于样本量增加 2~4 倍);优点——几乎免费(只需实验前数据);(b) 分层/配对(按特征分层随机化);(c) 协变量调整(回归调整);(d) 序列检验(早停的方差控制)。(4) 多重比较校正——(a) FDR/Bonferroni(见多重比较题);(b) 预注册主指标;(c) 分层检验。(5) 实验管理(management)——(a) 元数据(实验目的、假设、指标、配置);(b) 生命周期(创建 → 运行 → 分析 → 归档);(c) 权限与审计;(d) 冲突检测(同层实验是否冲突);(e) 与特征平台的集成(实验配置与模型训练一致)。(6) 其他能力——(a) switchback / 集群随机化(支持非用户级随机);(b) 准实验(合成控制/DiD);(c) 长期 holdout 管理;(d) 实验的'样本量计算'(事前);(e) '早停'的正确处理(序贯检验)。与其他问题的关系——(a) 与'分层实验'(下一题);(b) 与'多重比较'(下一题);(c) 与'样本量计算'(下一题)。实践建议——(a) 支持分层与互斥域(提高实验密度);(b) CUPED 降方差(几乎免费);(c) 实时 + 离线双轨(早停 + 最终);(d) 口径一致(与业务报表);(e) 元数据与生命周期管理;(f) 支持非用户级随机(switchback)。度量——(a) 实验密度(同期实验数);(b) 方差降低比例(CUPED);(c) 指标口径一致性;(d) 平台的稳定性与延迟。

🏭 深度剖析与工业落地权衡

深度剖析与工程权衡:① '分层实验提高实验密度'——不同层可复用同一批用户;面试中能指出这一点是深度理解的标志。② 'CUPED 几乎免费地降方差'——用实验前数据;通常降 30%~50%。③ '口径一致性'常被忽视——实验指标与业务报表不一致会导致'实验提升但业务没变'的困惑。④ '互斥域'处理相互干扰的实验——如两个都改首页的实验不能同时跑(需互斥)。⑤ '早停需序贯检验'——否则会因'偷看数据'而提高假阳性率。⑥ 面试要点——被问'实验平台要什么能力',应给出'流量分配(分层/互斥域)+ 指标(实时/离线/口径一致)+ 方差降低(CUPED)+ 多重比较 + 管理(元数据/生命周期)';能指出'CUPED'与'分层'是深度理解的标志。
⚠️ 常见面试陷阱与高频失分点
  • ✕
    不支持分层(实验密度低)
  • ✕
    实验指标与业务报表口径不一致
🎯 面试官连环追问与延伸考察
  • ?
    什么是'分层实验'(layer)?
  • ?
    CUPED 如何降方差?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
📚

关联知识库专题与交互式导图

← 上一题M7-097: 解释长期效应评估的方法📋 返回题库下一题 →M7-099: 解释 A/B 实验的样本量计算与最小可检测效应(MDE)