M2-PB01PlaybookMetric Drop 诊断 · Metric-drop diagnosis
Metric Drop 诊断决策树(五层,从“真的吗”到“怎么办”)
Metric-drop diagnosis: five layers from 'is it even real' to 'what do we do'
💡 考场高分一句话答案:
指标异动排查遵循五层决策树:① 校验数据管线与口径变更 -> ② 分子分母解耦 -> ③ 多维互斥分群下钻 -> ④ 剥离外部环境与竞品因素 -> ⑤ Oaxaca-Blinder 构成分解识别辛普森效应。
🧭 Playbook 核心提示 / Actionable Calibration:
最容易失分的一句话:“可能是用户流失了,我去看看留存。”——这是把 L4 的猜测当成了 L2 的分析。正确说法是“我先把 DAU 拆成新增/留存/回流/流失四项,看是哪一项贡献了这 5%”。
🗺️ 决策树与面试推进骨架 (Framework Tree)
L1 是真的吗?(Data / Instrumentation)—— 排除 60% 的假警报
├ 埋点是否漏报 / 客户端版本是否改了上报逻辑
├ ETL 是否延迟、分区是否缺失、去重逻辑是否变更
├ 时区 / 夏令时 / 跨日归属
├ Bot 过滤规则是否变更、爬虫流量突增
└ 指标定义是否被改过(版本 diff)
→ 判据:同一指标在另一个独立数据源(如日志 vs 报表)是否也降
L2 降的是哪个因子?(Decomposition)
├ 加法分解:DAU = 新增 + 留存 + 回流 − 流失 → 看哪一项变了
├ 乘法分解:Revenue = 用户 × 会话 × 曝光 × CTR × CPC → 看哪一项变了
└ 比率分解:CTR = clicks / impressions → 分子降还是分母涨?
L3 谁在降?(Segmentation)
├ 平台(iOS/Android/Web)、App 版本、地区、语言
├ 渠道(自然/付费/推荐)、新老用户、设备档位
├ 时间(小时级 / 星期几)→ 判断是突发还是渐变
└ 判据:如果集中在单一维度切片,几乎一定是该维度相关的技术或政策原因
L4 外部还是内部?(Attribution)
├ 外部:竞对发布、节假日、天气/事件、OS 更新、监管、搜索算法/浏览器变化
├ 内部:其他团队同时上线的改动、实验互相干扰、定价/政策变更
└ 判据:同期是否有其他实验/发布(查 launch calendar)
L5 怎么办?(Action)
├ 数据问题 → 修管道 + 回填 + 加监控告警
├ 技术问题 → 定位版本/机型,回滚或热修
├ 业务问题 → 量化影响,给恢复方案与预期时间
└ 无论哪种 → 明确“我现在能给的结论是什么、还需要什么”📐 第一性原理与数理推导机理
大盘平均指标变化量 Kitagawa 效应分解公式:$$\Delta \bar{Y} = \bar{Y}_t - \bar{Y}_0 = \sum_{i} w_{i,0} \Delta y_i + \sum_{i} y_{i,0} \Delta w_i + \sum_{i} \Delta y_i \Delta w_i$$第一项为纯粹率效应(Rate Lift),第二项为人群构成偏移效应(Mix Shift),第三项为交叉效应。这使得 DS 能一眼看出指标下跌是产品变差还是用户结构变化所致。
⚠️ 常见高频面试陷阱与避坑指南
- 看到 DAU 下跌立刻向工程团队报警查代码 Bug,忽视公共假期或宏观网络波动。
- 直接在几十个维度上做随机交叉探索,缺乏结构化下钻优先级,导致排查耗时过长。
🔍 大厂面试官连环追问 (Follow-ups)
- 如果 DAU 下跌了 5%,但人均时长上升了 10%,你的第一假设是什么?怎么验证?
- 在做异动排查时,如何向焦虑的产品总监在 15 分钟内做第一次清晰的进展沟通?
嫌字多看太累?进入苏格拉底式对话推演实验室
零打字负担,以大厂考官真实困境切入,通过点选直觉选项暴露思维盲区,手把手推导 Why。
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!