Data Pipelines & Streaming: 描述一个典型离线数据管道。

Core Concept: 采集 → 清洗 → 转换 → 聚合 → 存储 → 特征/训练集；关键是幂等、可重跑、可观测与血缘。

数学机理：<strong>离线数据管道的典型结构</strong>——(1) <strong>采集（ingest）</strong>——(a) <strong>日志</strong>（客户端/服务端埋点，常经消息队列 Kafka）；(b) <strong>数据库</strong>（CDC——变更数据捕获，如 Debezium）；(c) <strong>第三方</strong>（API/文件）；(d) <strong>关键</strong>——(i) <strong>至少一次/精确一次</strong>（重复数据的处理）；(ii) <strong>schema 演进</strong>（上游字段变化）；(iii) <strong>迟到数据</strong>（离线场景可容忍）。(2) <strong>清洗（clean）</strong>——(a) <strong>去重</strong>（精确哈希 + 近似去重 MinHash/LSH）；(b) <strong>过滤</strong>（质量规则：长度/符号比/垃圾内容）；(c) <strong>格式修正</strong>（编码/时间格式/单位）；(d) <strong>异常值处理</strong>（截断/标记）。(3) <strong>转换（transform）</strong>——(a) <strong>标准化</strong>（字段名/类型/枚举对齐）；(b) <strong>join</strong>（多源关联，需注意'维度表版本'——见时间点正确性）；(c) <strong>派生字段</strong>（从原始字段计算）。(4) <strong>聚合（aggregate）</strong>——(a) 按<strong>实体</strong>（用户/物品）+ <strong>时间窗</strong>（1 天/7 天/30 天）聚合；(b) 常用'滑动窗口'（而非全量——防泄漏）；(c) <strong>输出</strong>为'宽表'（一行一个实体，多列特征）。(5) <strong>存储（store）</strong>——(a) <strong>数据湖</strong>（对象存储 + 列式格式 Parquet/ORC）；(b) <strong>数仓</strong>（Hive/ClickHouse/BigQuery）；(c) <strong>特征存储</strong>（离线部分）；(d) <strong>分区</strong>（按日期分区——便于增量与回溯）。(6) <strong>关键工程属性</strong>——(a) <strong>幂等（idempotent）</strong>——同一任务重跑多次结果一致（<strong>最关键</strong>——否则重跑会重复累加）；实现：<strong>覆盖写</strong>（而非追加）、或'按分区覆盖'；(b) <strong>可重跑（re-runnable）</strong>——出错后可安全重跑（依赖幂等）；(c) <strong>分区（partition）</strong>——按日期/小时分区（便于增量处理与回溯）；(d) <strong>依赖管理</strong>（DAG 调度，如 Airflow/Dagster——任务依赖与重试）；(e) <strong>可观测</strong>——(i) 数据质量指标（行数/空值率/分布）；(ii) 新鲜度（数据延迟）；(iii) 血缘（上下游）；(f) <strong>SLA</strong>——数据产出时间（下游依赖）；(g) <strong>回填（backfill）</strong>——历史重算。<strong>失败模式</strong>——(a) <strong>上游 schema 变化</strong>（任务崩溃）；(b) <strong>重复数据</strong>（非幂等导致累加）；(c) <strong>迟到数据</strong>（分区边界问题）；(d) <strong>数据倾斜</strong>（某分区过大导致长尾）；(e) <strong>静默失败</strong>（任务成功但数据错）。<strong>实践建议</strong>——(a) <strong>幂等 + 按分区覆盖</strong>（最基本）；(b) <strong>DAG 调度 + 重试</strong>；(c) <strong>数据质量校验</strong>（任务内断言 + 事后监控）；(d) <strong>血缘</strong>（影响分析）；(e) <strong>SLA 监控</strong>（产出时间）；(f) <strong>回填能力</strong>。<strong>度量</strong>——(a) 数据新鲜度（延迟）；(b) 质量指标（空值率/异常率）；(c) 任务成功率/重跑率；(d) 成本。

深度剖析与工程权衡：① <strong>'幂等'是数据管道的第一原则</strong>——否则重跑会重复累加；面试中能指出是深度理解的标志。② <strong>'按分区覆盖写'是实现幂等的实用方法</strong>——避免'追加'带来的重复。③ <strong>'静默失败'最危险</strong>——任务成功但数据错（需数据质量校验）。④ <strong>'迟到数据'</strong>——分区边界需容忍（如'允许 T+1 的迟到数据'）。⑤ <strong>'数据倾斜'</strong>——某分区过大导致长尾；需打散或分桶。⑥ <strong>面试要点</strong>——被问'设计离线管道'，应给出'<strong>采集/清洗/转换/聚合/存储 + 幂等/可重跑/分区/依赖管理/可观测/血缘</strong>'；能指出'幂等是第一原则'是深度理解的标志。