M7-101M7: 检索、排序与推荐系统在线指标与实验Hard
⚡闪卡盲测➔掌握度:

解释分层实验与互斥域(Layer / Domain)

🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
下一题: M7-102 →
📐 核心数学机理公式
layer: orthogonal experiments;domain: mutually exclusive\text{layer}:\ \text{orthogonal experiments};\qquad \text{domain}:\ \text{mutually exclusive}
⚡ 一句话直击要害答案
分层(layer)把流量分成独立层,不同层可同时跑实验(提高密度);互斥域(domain)让相互干扰的实验互斥。

📌 核心要点提炼

  • •
    分层:不同层用独立随机化 → 层间正交 → 可同时跑多实验
  • •
    互斥域:相互干扰的实验放同一域(互斥)
  • •
    提高实验密度:同一批用户可参与多个层的实验

📐 数学机理与严密推导

数学机理:分层实验(layered experiments)——(1) 问题——若所有实验都用'同一批流量的同一随机化',则同一用户只能进一个实验(互斥)→ 实验密度低(同期只能跑少数实验);而大公司每天有数百个实验需求。(2) 分层(layer)的解法——(a) 做法——把流量分成多个独立的层(layer);每层用独立的随机化(独立的哈希种子);(b) 效果——同一用户可以同时参与多个层的实验(因为不同层的随机化独立);(c) 前提——层间正交(orthogonality)——即'一个实验的处理不影响另一个层的实验的指标';(d) 为什么能正交——因为不同层的随机化独立 → '实验 A 的组别'与'实验 B 的组别'在统计上独立(不相关);(e) 结果——(i) 实验密度提升(同期可跑'层数'倍的实验);(ii) 样本量不变(每层仍有全量用户)。(3) 正交的前提(重要)——(a) '处理不相互影响'——若 A 与 B 都改'同一个 UI 元素',则 A 的效果依赖 B 的处理(不正交);(b) '指标的叠加性'——若 A 与 B 的效果是'相加'的,则正交成立;若'相乘'或有交互,则不正交;(c) 实践——通常假设'不同模块的改动正交'(如'推荐算法改动'与'UI 颜色改动'正交);但'同一模块'的改动不正交。(4) 互斥域(domain)——(a) 做法——把'相互干扰'的实验放在同一个域(domain),域内互斥;(b) 例子——'两个都改首页推荐的实验'放同一域(互斥);'改首页推荐'与'改搜索排序'放不同域(正交);(c) 本质——域 = 一组互斥的实验集合;层 = 一组正交的实验集合(域可以看作'一层的特例')。(5) 实现细节——(a) 哈希——用 (user_id + layer_id) 哈希到 [0,1),决定'该用户在该层的组别';(b) 一致性——同一用户在同一层始终在同一组(稳定);(c) 流量比例——每层的实验可占不同比例(如实验占 10%、剩余 90% 作为该层的对照);(d) '空层'——未使用的层可作为'对照'(用于观测'层间的相互影响')。与其他问题的关系——(a) 与'实验平台能力'(分层是平台的核心功能);(b) 与'网络效应'(干扰是分层的反例);(c) 与'多重比较'(层间正交降低了多重比较的关联性)。实践建议——(a) 按'模块'分层(推荐/搜索/UI/广告各一层);(b) 相互干扰的实验放同一域(互斥);(c) 验证正交性(用'空层'或'A/A 测试');(d) 层数不宜过多(管理复杂);(e) 记录层与域的配置(元数据)。度量——(a) 实验密度(同期实验数);(b) 正交性验证(A/A 测试的假阳性率);(c) 层间的相互影响。

🏭 深度剖析与工业落地权衡

深度剖析与工程权衡:① '分层提高实验密度'是核心价值——同一用户可参与多层;面试中能指出这一点是深度理解的标志。② '层间正交的前提是处理不相互影响'——同一模块的改动不正交;故需按模块分层。③ '互斥域'处理干扰——相互干扰的实验放同一域。④ '用空层验证正交性'——实用技巧(观测层间的相互影响)。⑤ '层数不宜过多'——管理复杂度上升。⑥ 面试要点——被问'如何同时跑很多实验',应给出'分层(独立随机化 → 正交)+ 互斥域(相互干扰的实验互斥)+ 按模块分层 + 用空层验证';能指出'同一模块的改动不正交'是深度理解的标志。
⚠️ 常见面试陷阱与高频失分点
  • ✕
    把所有实验放在同一层(密度低、互斥)
  • ✕
    把相互干扰的实验放不同层(不正交)
🎯 面试官连环追问与延伸考察
  • ?
    '层间正交'的前提是什么?
  • ?
    如何判断两个实验是否'相互干扰'?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
📚

关联知识库专题与交互式导图

← 上一题M7-100: 解释多重比较与序贯检验(FDR / Alpha Spending)📋 返回题库下一题 →M7-102: 解释新颖效应(Novelty Effect)与首因效应