M2-015Medium数据质量 · Data quality
你怎么发现数据 pipeline 有 bug?(而不是等业务方来投诉)
How do you find a data pipeline bug before the business complains?
💡 考场高分一句话答案:
建立“自动化的不变量检查”:量级、守恒、分布、跨源一致性,任何一项越界就告警。
Build automated invariant checks: volume, conservation, distribution and cross-source consistency. Any breach pages you.
📌 核心考察要点 (Key Points)
- 不变量:子集之和 = 总量;今日 ≈ 上周同日 × 季节性因子;主键唯一;NULL 率稳定
- 分布监控:p50/p90/p99、类目占比、地理分布的日环比
- 跨源交叉:日志 vs 报表 vs 计费,三者差异超过阈值即告警
- 血缘与 schema:上游字段变更、类型变更、分区缺失的自动检测
- Invariants: parts sum to the whole; today approximates the same day last week times a seasonal factor; primary keys unique; NULL rate stable
- Distribution monitoring: p50/p90/p99, category shares, geographic distribution, day over day
- Cross-source: logs versus reporting versus billing, alerting when the divergence exceeds a threshold
- Lineage and schema: automatic detection of upstream field changes, type changes and missing partitions
⚖️ 业务权衡与取舍 (Trade-offs & Calibration)
最有效的一类检查是守恒律:因为它在任何业务逻辑下都必须成立,一旦违反必然是 bug。例如“各平台的会话数之和 = 全局会话数”,这一条能抓到绝大多数 join 丢行与重复计数问题。
⚠️ 常见高频面试陷阱与避坑指南
- 只监控总量,不监控分布与结构
- 告警阈值设成固定绝对值,忽略季节性
🔍 大厂面试官连环追问 (Follow-ups)
- 如何区分“数据 bug”与“真实业务变化”?
- 如何给 pipeline 做单元测试?
嫌字多看太累?进入苏格拉底式对话推演实验室
零打字负担,以大厂考官真实困境切入,通过点选直觉选项暴露思维盲区,手把手推导 Why。
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!