M2-015Medium数据质量 · Data quality

你怎么发现数据 pipeline 有 bug?(而不是等业务方来投诉)

How do you find a data pipeline bug before the business complains?
💡 考场高分一句话答案:

建立“自动化的不变量检查”:量级、守恒、分布、跨源一致性,任何一项越界就告警。

Build automated invariant checks: volume, conservation, distribution and cross-source consistency. Any breach pages you.

📌 核心考察要点 (Key Points)

  • 不变量:子集之和 = 总量;今日 ≈ 上周同日 × 季节性因子;主键唯一;NULL 率稳定
  • 分布监控:p50/p90/p99、类目占比、地理分布的日环比
  • 跨源交叉:日志 vs 报表 vs 计费,三者差异超过阈值即告警
  • 血缘与 schema:上游字段变更、类型变更、分区缺失的自动检测
  • Invariants: parts sum to the whole; today approximates the same day last week times a seasonal factor; primary keys unique; NULL rate stable
  • Distribution monitoring: p50/p90/p99, category shares, geographic distribution, day over day
  • Cross-source: logs versus reporting versus billing, alerting when the divergence exceeds a threshold
  • Lineage and schema: automatic detection of upstream field changes, type changes and missing partitions

⚖️ 业务权衡与取舍 (Trade-offs & Calibration)

最有效的一类检查是守恒律:因为它在任何业务逻辑下都必须成立,一旦违反必然是 bug。例如“各平台的会话数之和 = 全局会话数”,这一条能抓到绝大多数 join 丢行与重复计数问题。

⚠️ 常见高频面试陷阱与避坑指南

  • 只监控总量,不监控分布与结构
  • 告警阈值设成固定绝对值,忽略季节性

🔍 大厂面试官连环追问 (Follow-ups)

  • 如何区分“数据 bug”与“真实业务变化”?
  • 如何给 pipeline 做单元测试?

嫌字多看太累?进入苏格拉底式对话推演实验室

零打字负担,以大厂考官真实困境切入,通过点选直觉选项暴露思维盲区,手把手推导 Why。

💬 开启对话式破冰 ➔
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔