数据集管理与血缘

数据集管理是对训练数据的版本、血缘、存储、合规与生命周期进行系统化治理, 核心工具是 DVC (Data Version Control): 数据文件本体不入 Git, 版本库只存元数据(文件哈希、依赖关系), 数据以内容寻址存储 (Content-Addressed Storage, 哈希即地址) 保存, 从而获得与代码一致的版本、分支与回滚能力。血缘 (Lineage) 记录「原始数据 → 清洗特征 → 训练集 → 模型」的完整上下游链路。合规与质量: 训练数据去重(精确哈希或 MinHash/LSH 近似去重)、PII 脱敏、许可/版权审查、数据出境合规; 精确去重的哈希碰撞概率按生日悖论估算 $P \approx \frac{n^2}{2^{m+1}}$, 其中 $m$ 为哈希位数、$n$ 为样本数。

大模型训练集达 TB~PB 级、文件数量百万级, Git 直接管理不现实; 复现实验要求「代码 + 数据 + 模型」版本对齐; 监管与审计需要训练数据来源可追溯; 面试常问 DVC 与 Git 的分工、数据去重怎么做、训练数据版权与合规边界。

相比整份数据复制备份: 内容寻址 + 去重让存储占用大幅下降(相同文件只存一份, 版本间只存差异), 回滚秒级完成; 血缘让任何模型产出都能追溯到数据与代码版本, 可复现、可审计; 去重与合规检查避免重复/侵权样本进入训练集, 降低模型记忆偏差与法律风险。

检验攻克程度：针对「数据集管理与血缘」专属刷题排雷

做单选排雷题、推导选项机制，答错自动收录进专属错题本。