M3-001Easy实验流程 · Experiment workflow🔥 大厂高频出现 10 次

请完整设计一个 A/B 测试来验证“新版搜索结果页布局”。

Design an A/B test to validate a new search results page layout.
💡 考场高分一句话答案:

按假设→指标→分流→功效→校验→监控→决策七步走,重点说清随机化单位、OEC 与护栏、以及放量计划。

Walk the seven steps: hypothesis, metrics, assignment unit, power, validation, monitoring, decision. Be explicit about the randomisation unit, the OEC and the guardrails.

📌 核心考察要点 (Key Points)

  • 假设:新布局让用户更快找到结果,表现为 refinement rate 下降、首点时间缩短
  • 指标:OEC = 任务成功率(无重搜且有点击);护栏 = p95 延迟、ad load、D7 回访
  • 分流:以 user 为单位(跨会话一致),50:50,按平台/地区分层
  • 功效:用历史方差估 MDE,至少跑满 2 周覆盖周周期
  • 决策:显著且护栏中性 → 1%→5%→25%→100% 放量;护栏恶化 → 折算后决策
  • Hypothesis: the new layout helps users find results faster, showing up as lower refinement rate and shorter time-to-first-click
  • Metrics: OEC = task success (no re-query and a click); guardrails = p95 latency, ad load, D7 return
  • Assignment: user-level for cross-session consistency, 50:50, stratified by platform and region
  • Power: variance from history, run at least two full weeks to cover the weekly cycle
  • Decision: significant with neutral guardrails → ramp 1%→5%→25%→100%; guardrail degradation → translate then decide

⚖️ 业务权衡与取舍 (Trade-offs & Calibration)

真实项目里还要处理两个工程细节:(1) 实验层(layering)——同一用户可能同时在多个实验中,需要确保布局实验与排序实验不冲突;(2) 实现一致性——实验代码路径与生产代码路径必须一致,否则上线后效应会衰减。

⚠️ 常见高频面试陷阱与避坑指南

  • 只说“随机分两组看指标”,没有随机化单位与护栏
  • 不设放量计划,直接全量

🔍 大厂面试官连环追问 (Follow-ups)

  • 如果布局改动同时影响广告位,你怎么处理指标冲突?
  • 如何确保实验实现与最终上线实现一致?

🎯 关联大厂考题实战训练 (6 题)

嫌字多看太累?进入苏格拉底式对话推演实验室

零打字负担,以大厂考官真实困境切入,通过点选直觉选项暴露思维盲区,手把手推导 Why。

💬 开启对话式破冰 ➔
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔