03. 数据工程与数据基础设施
为大模型预训练、后训练对齐、高质量微调与检索索引供给高纯度数据燃料与坚固的湖仓基础设施。
3.1 数据获取、处理与治理
海量批流数据摄取、Lakehouse 湖仓架构 (Iceberg/Delta)、dbt 数据转换、元数据血缘、Data Contracts 契约与 PII 敏感隐私治理。
海量批流数据摄取与 Lakehouse 湖仓工程
基于 Apache Spark / Flink 的海量批流一体计算、Delta Lake / Apache Iceberg / Hudi 湖仓格式、dbt 业务逻辑建模、Schema Evolution 与多模态文档解析 (OCR/PDF Parsing)。
数据治理、血缘追踪与安全合规管控
企业级 Data Catalog 目录、自动血缘追踪 (Column-level Lineage)、Data Contracts 生产契约、PII 个人隐私脱敏、授权合规 (Consent) 与数据集版本快照。
3.2 训练语料清洗、标注工程与合成数据
TB/PB 级预训练数据清洗、MinHash 模糊去重、测试集去污染 (Decontamination)、高质量人审标注体系与可追溯合成数据引擎。
PB 级预训练语料清洗、去重与基准去污染
MinHash / LSH 模糊去重、FastText 语言与毒性过滤、HTML 噪声剔除、基准测试集防泄露去污染 (Decontamination 算法) 与多模态图文对清洗对齐。
合成数据引擎、沙箱执行验证与可追溯性
基于 Teacher LLM 的 Evol-Instruct 自动演化、代码沙箱执行反馈 (Execution Feedback)、拒绝采样 (Rejection Sampling)、人审质检闭环 (Human-in-the-loop) 与数据权属追踪 (Data Provenance & Rights)。
3.3 检索索引、搜索引擎与向量数据库基础设施
倒排索引、BM25 文本检索、HNSW/IVF-PQ 向量索引、混合检索 (Dense+Sparse)、实时索引保鲜与 ACL 权限感知检索底座。
倒排索引、BM25 与企业级搜索引擎架构
Elasticsearch / OpenSearch 分布式倒排索引、BM25 词频打分与自适应分词、分片副本路由、查询改写、ACL 细粒度权限过滤与离线相关性评测 (nDCG / MRR)。
向量数据库与高维向量索引 (HNSW / IVF-PQ)
HNSW 图索引构建与近邻剪枝、IVF-PQ 标量乘积量化压缩、SIMD/GPU 距离计算加速、标量+向量混合过滤 (Filtered Search) 与毫秒级实时索引保鲜 (Index Freshness)。