M2-PB01PlaybookMetric Drop 诊断 · Metric-drop diagnosis

Metric Drop 诊断决策树(五层,从“真的吗”到“怎么办”)

Metric-drop diagnosis: five layers from 'is it even real' to 'what do we do'
💡 考场高分一句话答案:

指标异动排查遵循五层决策树:① 校验数据管线与口径变更 -> ② 分子分母解耦 -> ③ 多维互斥分群下钻 -> ④ 剥离外部环境与竞品因素 -> ⑤ Oaxaca-Blinder 构成分解识别辛普森效应。

🧭 Playbook 核心提示 / Actionable Calibration:

最容易失分的一句话:“可能是用户流失了,我去看看留存。”——这是把 L4 的猜测当成了 L2 的分析。正确说法是“我先把 DAU 拆成新增/留存/回流/流失四项,看是哪一项贡献了这 5%”。

🗺️ 决策树与面试推进骨架 (Framework Tree)

L1 是真的吗?(Data / Instrumentation)—— 排除 60% 的假警报
    ├ 埋点是否漏报 / 客户端版本是否改了上报逻辑
    ├ ETL 是否延迟、分区是否缺失、去重逻辑是否变更
    ├ 时区 / 夏令时 / 跨日归属
    ├ Bot 过滤规则是否变更、爬虫流量突增
    └ 指标定义是否被改过(版本 diff)
    → 判据:同一指标在另一个独立数据源(如日志 vs 报表)是否也降

L2 降的是哪个因子?(Decomposition)
    ├ 加法分解:DAU = 新增 + 留存 + 回流 − 流失 → 看哪一项变了
    ├ 乘法分解:Revenue = 用户 × 会话 × 曝光 × CTR × CPC → 看哪一项变了
    └ 比率分解:CTR = clicks / impressions → 分子降还是分母涨?

L3 谁在降?(Segmentation)
    ├ 平台(iOS/Android/Web)、App 版本、地区、语言
    ├ 渠道(自然/付费/推荐)、新老用户、设备档位
    ├ 时间(小时级 / 星期几)→ 判断是突发还是渐变
    └ 判据:如果集中在单一维度切片,几乎一定是该维度相关的技术或政策原因

L4 外部还是内部?(Attribution)
    ├ 外部:竞对发布、节假日、天气/事件、OS 更新、监管、搜索算法/浏览器变化
    ├ 内部:其他团队同时上线的改动、实验互相干扰、定价/政策变更
    └ 判据:同期是否有其他实验/发布(查 launch calendar)

L5 怎么办?(Action)
    ├ 数据问题 → 修管道 + 回填 + 加监控告警
    ├ 技术问题 → 定位版本/机型,回滚或热修
    ├ 业务问题 → 量化影响,给恢复方案与预期时间
    └ 无论哪种 → 明确“我现在能给的结论是什么、还需要什么”

📐 第一性原理与数理推导机理

大盘平均指标变化量 Kitagawa 效应分解公式:$$\Delta \bar{Y} = \bar{Y}_t - \bar{Y}_0 = \sum_{i} w_{i,0} \Delta y_i + \sum_{i} y_{i,0} \Delta w_i + \sum_{i} \Delta y_i \Delta w_i$$第一项为纯粹率效应(Rate Lift),第二项为人群构成偏移效应(Mix Shift),第三项为交叉效应。这使得 DS 能一眼看出指标下跌是产品变差还是用户结构变化所致。

⚠️ 常见高频面试陷阱与避坑指南

  • 看到 DAU 下跌立刻向工程团队报警查代码 Bug,忽视公共假期或宏观网络波动。
  • 直接在几十个维度上做随机交叉探索,缺乏结构化下钻优先级,导致排查耗时过长。

🔍 大厂面试官连环追问 (Follow-ups)

  • 如果 DAU 下跌了 5%,但人均时长上升了 10%,你的第一假设是什么?怎么验证?
  • 在做异动排查时,如何向焦虑的产品总监在 15 分钟内做第一次清晰的进展沟通?

嫌字多看太累?进入苏格拉底式对话推演实验室

零打字负担,以大厂考官真实困境切入,通过点选直觉选项暴露思维盲区,手把手推导 Why。

💬 开启对话式破冰 ➔
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔