Data Pipelines & Streaming: 解释数据血缘与可追溯性的价值。

Core Concept: 记录'数据从哪来、经过什么加工、被谁使用'；用于影响分析、故障定位、合规审计与复现。

数学机理：<strong>数据血缘（data lineage）</strong>——(1) <strong>定义</strong>——记录'数据的来源与流向'：(a) <strong>表级血缘</strong>（表 A → 表 B）；(b) <strong>字段级血缘</strong>（表 A 的 x 字段 → 表 B 的 y 字段）；(c) <strong>任务级血缘</strong>（哪个作业产生了 B）；(d) <strong>时间维度</strong>（不同时期的血缘可能不同）。(2) <strong>价值</strong>——(a) <strong>影响分析（impact analysis）</strong>——'我改这个上游表会影响哪些下游/模型/报表'（<strong>最常用</strong>）；(b) <strong>故障定位（debugging）</strong>——'下游指标异常'→ 沿血缘回溯到源头；(c) <strong>合规审计</strong>——'这个数据来自哪里、经过什么处理、是否合规'（GDPR 的'数据来源'要求）；(d) <strong>复现</strong>——'当时这个报表是用什么数据、什么逻辑算的'；(e) <strong>成本归因</strong>——'这个数据集的成本来自哪些作业'；(f) <strong>数据发现</strong>——'有哪些可用的数据/特征'。(3) <strong>采集方式</strong>——(a) <strong>SQL 解析</strong>（解析 ETL 的 SQL——最常用）；(b) <strong>代码插桩</strong>（在作业中打点）；(c) <strong>调度系统集成</strong>（从 Airflow/Dagster 的 DAG 提取）；(d) <strong>运行时采集</strong>（从查询日志/执行计划提取）；(e) <strong>手动维护</strong>（不可靠但有时必要）。(4) <strong>字段级血缘的难度</strong>——(a) <strong>SQL 复杂</strong>（子查询/CTE/窗口函数/动态 SQL）；(b) <strong>UDF</strong>（黑盒）；(c) <strong>动态表名</strong>（运行时决定）；(d) <strong>跨系统</strong>（Hive → ClickHouse → 特征存储）；(e) 故'字段级血缘'常不完整（需容忍）。(5) <strong>应用示例</strong>——(a) <strong>改上游前的影响分析</strong>（'这个字段有 30 个下游依赖'）；(b) <strong>故障定位</strong>（'指标异常 → 上游某表昨天数据缺失'）；(c) <strong>合规</strong>（'这个特征用了用户的哪些数据'——用于隐私审计）；(d) <strong>GDPR 的'被遗忘权'</strong>（删除用户数据时需知道'影响哪些下游'）。<strong>与其他问题的关系</strong>——(a) 与'数据质量'（定位问题的工具）；(b) 与'隐私合规'（数据来源审计）；(c) 与'特征版本管理'（影响分析）。<strong>实践建议</strong>——(a) <strong>自动采集</strong>（SQL 解析 + 调度集成）；(b) <strong>字段级优先</strong>（更有用但更难）；(c) <strong>与调度/质量/合规系统集成</strong>；(d) <strong>容忍不完整</strong>（标注置信度）；(e) <strong>用于影响分析与故障定位</strong>（最实用的两个用途）。<strong>度量</strong>——(a) 血缘覆盖率（多少表/字段有血缘）；(b) 血缘准确率；(c) 故障定位时间（MTTR）的改善；(d) 影响分析的使用率。

深度剖析与工程权衡：① <strong>'影响分析'是最常用的价值</strong>——'改上游影响谁'；面试中能指出是深度理解的标志。② <strong>'字段级血缘'更有用但更难</strong>——SQL 复杂度/UDF/动态表名。③ <strong>'自动采集'优于手工</strong>——SQL 解析 + 调度集成。④ <strong>'容忍不完整'</strong>——字段级血缘常不完整；需标注置信度。⑤ <strong>'GDPR 的被遗忘权'需血缘</strong>——删除用户数据时需知道影响哪些下游。⑥ <strong>面试要点</strong>——被问'数据血缘有什么用'，应给出'<strong>影响分析/故障定位/合规审计/复现 + 表级与字段级 + 自动采集（SQL 解析）+ 字段级的难度 + 容忍不完整</strong>'；能指出'字段级血缘更难但更有用'是深度理解的标志。