⬅ AI 全产业总图/Layer 03 · 03. 数据工程与数据基础设施
3.2

3.2 训练语料清洗、标注工程与合成数据

TB/PB 级预训练数据清洗、MinHash 模糊去重、测试集去污染 (Decontamination)、高质量人审标注体系与可追溯合成数据引擎。

PB 级预训练语料清洗、去重与基准去污染

MinHash / LSH 模糊去重、FastText 语言与毒性过滤、HTML 噪声剔除、基准测试集防泄露去污染 (Decontamination 算法) 与多模态图文对清洗对齐。

🏢 标杆代表企业
Scale AI、Labelbox、Appen、Surge AI、Hugging Face
🛠️ 核心技术栈
MinHash LSHDeduplicationDecontaminationFastTextPII RemovalData Quality ScoringFineWeb
💼 典型岗位与薪资
ML Data Engineer、Data Operations Engineer、Annotation Operations Lead
💰 $180K - $370K / 年 (大模型语料工程) | ¥48W - ¥115W / 年
📚 先决掌握技能:MinHash / LSH 相似度哈希算法 • 大模型基准集去污染过滤原理 • 正则表达式与文本标准化规范 • 分布式数据批处理与集群调度

合成数据引擎、沙箱执行验证与可追溯性

基于 Teacher LLM 的 Evol-Instruct 自动演化、代码沙箱执行反馈 (Execution Feedback)、拒绝采样 (Rejection Sampling)、人审质检闭环 (Human-in-the-loop) 与数据权属追踪 (Data Provenance & Rights)。

🏢 标杆代表企业
Scale AI、Gretel.ai、Snorkel AI、Surge AI
🛠️ 核心技术栈
Synthetic DataEvol-InstructRejection SamplingExecution FeedbackData ProvenanceHuman-in-the-loopSelf-Instruct
💼 典型岗位与薪资
Synthetic Data Engineer、ML Data Engineer、Data Quality Engineer
💰 $195K - $410K / 年 (合成数据研发) | ¥50W - ¥130W / 年
📚 先决掌握技能:Self-Instruct 与 Evol-Instruct 生成范式 • 代码执行沙箱安全与反馈循环机制 • 数据多样性 (Diversity) 与困惑度评估 • 数据版权合规与数据血统 (Provenance)