Data Pipelines & Streaming: 解释数据版本管理与快照。

Core Concept: 对数据集打版本（含 schema、内容、加工逻辑）；支持'可复现'（回到某版本）、'可对比'与'可回滚'。

数学机理：<strong>数据版本管理</strong>——(1) <strong>为什么需要</strong>——(a) <strong>可复现</strong>——'复现三个月前的模型'需要当时的<strong>数据 + schema + 代码</strong>；(b) <strong>可对比</strong>——'新旧数据集的差异'（改了什么）；(c) <strong>可回滚</strong>——数据出错时回退；(d) <strong>审计</strong>——'当时用的是哪版数据'；(e) <strong>时间旅行（time travel）</strong>——'查询某时刻的数据状态'。(2) <strong>版本维度</strong>——(a) <strong>数据内容</strong>（快照/分区）；(b) <strong>schema</strong>（字段/类型变化）；(c) <strong>加工代码</strong>（ETL 逻辑版本）；(d) <strong>依赖版本</strong>（上游表/库）；(e) <strong>绑定关系</strong>（哪个模型用了哪版数据）。(3) <strong>为什么比'代码版本'难</strong>——(a) <strong>体积大</strong>（TB/PB 级——无法像代码一样'存全部历史'）；(b) <strong>变更频繁</strong>（每天新增）；(c) <strong>'内容'难以 diff</strong>（代码可 diff，数据需专门工具）；(d) <strong>存储成本</strong>（全量快照成本高）。(4) <strong>实现方式</strong>——(a) <strong>不可变存储（immutable）</strong>——数据只追加不修改（如日志）；(b) <strong>分区快照</strong>——按日期分区（'某天的分区'即一个版本）；(c) <strong>表格式（table format）</strong>——<strong>Iceberg / Delta Lake / Hudi</strong>——提供 (i) <strong>快照（snapshot）</strong>（每次写入产生新快照）、(ii) <strong>时间旅行</strong>（查询某快照）、(iii) <strong>schema 演进</strong>（加列/改类型）、(iv) <strong>增量读取</strong>（读'某快照之后的变更'）；(d) <strong>写时复制（copy-on-write）</strong> vs <strong>读时合并（merge-on-read）</strong>（更新策略的权衡）；(e) <strong>元数据管理</strong>（快照的元数据很小——可存全部历史）。(5) <strong>应用</strong>——(a) <strong>复现实验</strong>（用当时的快照）；(b) <strong>数据回滚</strong>（发现数据错误 → 回退到旧快照）；(c) <strong>A/B 数据对比</strong>（新旧版本）；(d) <strong>审计</strong>（'这个结果基于哪版数据'）；(e) <strong>调试</strong>（'这个 bug 是什么时候引入的'——对比快照）。<strong>与其他问题的关系</strong>——(a) 与'特征版本管理'（同一主题）；(b) 与'实验管理'（复现）；(c) 与'血缘'（影响分析）。<strong>实践建议</strong>——(a) <strong>用表格式</strong>（Iceberg/Delta——提供快照与时间旅行）；(b) <strong>分区 + 快照</strong>（成本可控）；(c) <strong>绑定'数据版本 + 代码版本 + 模型版本'</strong>（复现）；(d) <strong>保留关键快照</strong>（不必全存）；(e) <strong>元数据管理</strong>（血缘 + 版本）；(f) <strong>数据回滚流程</strong>。<strong>度量</strong>——(a) 复现成功率；(b) 版本覆盖率；(c) 存储成本；(d) 回滚时间。

深度剖析与工程权衡：① <strong>'数据版本比代码版本难'</strong>——体积大/变更频繁/难以 diff；面试中能指出是深度理解的标志。② <strong>'表格式（Iceberg/Delta）'是当前主流方案</strong>——提供快照与时间旅行。③ <strong>'绑定数据+代码+模型版本'是复现的前提</strong>——缺一不可。④ <strong>'不必全存快照'</strong>——保留关键快照即可（成本）。⑤ <strong>'时间旅行'支持调试与审计</strong>——'查询某时刻的数据状态'。⑥ <strong>面试要点</strong>——被问'数据怎么版本化'，应给出'<strong>版本维度（数据/schema/代码/依赖）+ 能力（复现/对比/回滚/时间旅行）+ 实现（表格式 Iceberg/Delta）+ 与代码/模型版本绑定</strong>'；能指出'数据版本比代码版本难'是深度理解的标志。