M8-010M8: 系统架构、MLOps 与工程实战ML 系统设计框架Hard
⚡闪卡盲测➔掌握度:

设计一个 A/B 实验平台

🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
下一题: M8-011 →
📐 核心数学机理公式
platform: assign→metrics→analysis→manage;layer/domain+CUPED\text{platform}:\ \text{assign}\to\text{metrics}\to\text{analysis}\to\text{manage};\qquad \text{layer/domain}+\text{CUPED}
⚡ 一句话直击要害答案
流量分配(分层/互斥)→ 指标计算(实时/离线/CUPED)→ 分析与决策(多重比较/序贯)→ 实验管理。

📌 核心要点提炼

  • •
    流量分配:用户级随机、分层(正交)、互斥域
  • •
    指标:实时/离线、口径一致、CUPED 降方差、护栏
  • •
    分析:样本量/MDE、多重比较、序贯检验;管理:元数据/生命周期

📐 数学机理与严密推导

数学机理:A/B 实验平台的设计(详见 M7 的在线指标与实验题)——(1) 流量分配——(a) 随机化单元(用户/会话/设备);(b) 分层(layer)——不同层用独立随机化 → 层间正交 → 同一用户可参与多层(提高实验密度);(c) 互斥域(domain)——相互干扰的实验放同一域(互斥);(d) 按模块分层(推荐/搜索/UI/广告各一层);(e) 一致性(同一用户在同一层始终同组);(f) 支持非用户级随机(switchback/集群)。(2) 指标计算——(a) 实时(早停/风险监控)+ 离线(最终决策);(b) 口径一致(与业务报表一致);(c) 护栏指标(自动监控);(d) 分层指标(新/老用户、场景、物品);(e) 方差降低(CUPED)——用'实验前指标'作为协变量:Y'=Y−θ(X−E[X]);通常降 30%~50% 方差(相当于样本量 ×2~4)。(3) 统计分析——(a) 样本量/MDE(事前计算:n ∝ σ²/MDE²);(b) 多重比较(FDR/Bonferroni + 预注册主指标);(c) 序贯检验(alpha spending,支持早停);(d) 主指标 + 护栏框架(一票否决);(e) 异质性分析(HTE——不同用户群体的效应差异);(f) 长期效应(holdout 组)。(4) 实验管理——(a) 元数据(目的/假设/指标/配置/负责人);(b) 生命周期(创建→运行→分析→归档);(c) 权限与审计;(d) 冲突检测(同层实验冲突);(e) 与特征平台集成(实验配置与训练一致)。关键决策——(a) 随机化粒度(用户级 vs 会话级 vs 集群);(b) 层与域的划分(按模块);(c) 方差降低(CUPED/分层);(d) 早停策略(alpha spending);(e) 指标口径(与业务对齐)。失败模式——(a) 样本比例失衡(SRM——Sample Ratio Mismatch,说明随机化有 bug);(b) 多重比较未校正(假阳性);(c) 偷看数据早停(假阳性);(d) 网络效应(干扰);(e) 指标口径不一致;(f) 实验污染(同层冲突)。实践建议——(a) 分层 + 互斥域(提高密度);(b) CUPED(几乎免费降方差);(c) 预注册主指标 + 护栏;(d) SRM 检查(每次实验必做);(e) alpha spending(支持早停);(f) 元数据与生命周期管理。度量——(a) 实验密度;(b) SRM 检出率;(c) 假阳性率(模拟);(d) 方差降低比例(CUPED);(e) 平台稳定性。

🏭 深度剖析与工业落地权衡

深度剖析与工程权衡:① '分层提高实验密度'——同一用户可参与多层;面试中能指出是深度理解的标志。② 'SRM 检查必做'——样本比例失衡说明随机化有 bug(最实用的实验健康检查)。③ 'CUPED 几乎免费降方差'——用实验前数据;通常降 30%~50%。④ '预注册主指标'避免多重比较与'挑指标'。⑤ '口径一致性'常被忽视——实验指标与业务报表不一致会导致困惑。⑥ 面试要点——被问'设计实验平台',应给出'流量分配(分层/互斥域)+ 指标(实时/离线/CUPED/护栏)+ 分析(MDE/多重比较/序贯)+ 管理(元数据/生命周期)+ SRM 检查';能指出'SRM 检查'是深度理解的标志。
⚠️ 常见面试陷阱与高频失分点
  • ✕
    不支持分层(实验密度低)
  • ✕
    不做 SRM 检查(随机化 bug 无法发现)
🎯 面试官连环追问与延伸考察
  • ?
    为什么要分层与互斥域?
  • ?
    CUPED 如何降方差?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
📚

关联知识库专题与交互式导图

← 上一题M8-009: 设计一个内容审核(安全)系统📋 返回题库下一题 →M8-011: 解释特征存储的作用与核心能力