⬅返回 AI 全产业链总路线图
📊
LAYER 03

03. 数据工程与数据基础设施

代表企业:
Scale AIScale AILabelboxLabelboxSurge AISurge AISnorkel AISnorkel AIGretel.aiGretel.aiAppenAppenDatabricksDatabricksSnowflakeSnowflakeConfluentConfluentFivetranFivetrandbt Labsdbt LabsCollibraCollibraMonte CarloMonte CarloBigIDBigIDPineconePineconeQdrantQdrantZilliz / MilvusZilliz / MilvusWeaviateWeaviateClickHouseClickHouseElasticsearchElasticsearchOpenSearchOpenSearchVespaVespaHugging FaceHugging Face

为大模型预训练、后训练对齐、高质量微调与检索索引供给高纯度数据燃料与坚固的湖仓基础设施。

📊模块视图模式:
🌐三维立体交互路线全图

03. 数据工程与数据基础设施 · 全景技术 × 企业 × 岗位交叉关联图

点击任意标杆企业、技术大类或岗位,系统将自动高亮所有关联节点并隐去无关要素;点击技术大类右侧链接可直达独立深度子页。

🔍
🏢

标杆代表企业

23
Scale AIScale AI
2
LabelboxLabelbox
1
Surge AISurge AI
2
Snorkel AISnorkel AI
1
Gretel.aiGretel.ai
1
AppenAppen
1
DatabricksDatabricks
2
SnowflakeSnowflake
2
ConfluentConfluent
1
FivetranFivetran
1
dbt Labsdbt Labs
1
CollibraCollibra
1
Monte CarloMonte Carlo
1
BigIDBigID
1
PineconePinecone
1
QdrantQdrant
1
Zilliz / MilvusZilliz / Milvus
1
WeaviateWeaviate
1
ClickHouseClickHouse
1
ElasticsearchElasticsearch
1
OpenSearchOpenSearch
1
VespaVespa
1
Hugging FaceHugging Face
1
🛠️

核心技术栈大类 × 原子考点体系

3 大类
3.1

3.1 数据获取、处理与治理

海量批流数据摄取、Lakehouse 湖仓架构 (Iceberg/Delta)、dbt 数据转换、元数据血缘、Data Contracts 契约与 PII 敏感隐私治理。
独立模块页➔
海量批流数据摄取与 Lakehouse 湖仓工程
💰 $175K - $360K / 年 (硅谷数据平台)
基于 Apache Spark / Flink 的海量批流一体计算、Delta Lake / Apache Iceberg / Hudi 湖仓格式、dbt 业务逻辑建模、Schema Evolution 与多模态文档解析 (OCR/PDF Parsing)。
标杆研发:DatabricksDatabricksSnowflakeSnowflakeConfluentConfluentFivetranFivetrandbt Labsdbt Labs
Apache SparkApache FlinkApache IcebergDelta Lakedbt LabsSchema EvolutionMultimodal ParsingLakehouse
数据治理、血缘追踪与安全合规管控
💰 $165K - $340K / 年 (数据治理与合规)
企业级 Data Catalog 目录、自动血缘追踪 (Column-level Lineage)、Data Contracts 生产契约、PII 个人隐私脱敏、授权合规 (Consent) 与数据集版本快照。
标杆研发:DatabricksDatabricksCollibraCollibraMonte CarloMonte CarloBigIDBigIDSnowflakeSnowflake
Data CatalogLineageData ContractsPII RedactionData PrivacyGreat ExpectationsConsent Governance
3.2

3.2 训练语料清洗、标注工程与合成数据

TB/PB 级预训练数据清洗、MinHash 模糊去重、测试集去污染 (Decontamination)、高质量人审标注体系与可追溯合成数据引擎。
独立模块页➔
PB 级预训练语料清洗、去重与基准去污染
💰 $180K - $370K / 年 (大模型语料工程)
MinHash / LSH 模糊去重、FastText 语言与毒性过滤、HTML 噪声剔除、基准测试集防泄露去污染 (Decontamination 算法) 与多模态图文对清洗对齐。
标杆研发:Scale AIScale AILabelboxLabelboxAppenAppenSurge AISurge AIHugging FaceHugging Face
MinHash LSHDeduplicationDecontaminationFastTextPII RemovalData Quality ScoringFineWeb
合成数据引擎、沙箱执行验证与可追溯性
💰 $195K - $410K / 年 (合成数据研发)
基于 Teacher LLM 的 Evol-Instruct 自动演化、代码沙箱执行反馈 (Execution Feedback)、拒绝采样 (Rejection Sampling)、人审质检闭环 (Human-in-the-loop) 与数据权属追踪 (Data Provenance & Rights)。
标杆研发:Scale AIScale AIGretel.aiGretel.aiSnorkel AISnorkel AISurge AISurge AI
Synthetic DataEvol-InstructRejection SamplingExecution FeedbackData ProvenanceHuman-in-the-loopSelf-Instruct
3.3

3.3 检索索引、搜索引擎与向量数据库基础设施

倒排索引、BM25 文本检索、HNSW/IVF-PQ 向量索引、混合检索 (Dense+Sparse)、实时索引保鲜与 ACL 权限感知检索底座。
独立模块页➔
倒排索引、BM25 与企业级搜索引擎架构
💰 $185K - $380K / 年 (搜索系统与相关性)
Elasticsearch / OpenSearch 分布式倒排索引、BM25 词频打分与自适应分词、分片副本路由、查询改写、ACL 细粒度权限过滤与离线相关性评测 (nDCG / MRR)。
标杆研发:ElasticsearchElasticsearchOpenSearchOpenSearchVespaVespaClickHouseClickHouse
Inverted IndexBM25ElasticsearchOpenSearchVespaShardingACL RetrievalnDCG
向量数据库与高维向量索引 (HNSW / IVF-PQ)
💰 $190K - $395K / 年 (向量数据库与系统研发)
HNSW 图索引构建与近邻剪枝、IVF-PQ 标量乘积量化压缩、SIMD/GPU 距离计算加速、标量+向量混合过滤 (Filtered Search) 与毫秒级实时索引保鲜 (Index Freshness)。
标杆研发:PineconePineconeZilliz / MilvusZilliz / MilvusQdrantQdrantWeaviateWeaviate
Vector DatabaseHNSW GraphIVF-PQEmbeddingPineconeMilvus / ZillizQdrantHybrid Retrieval
💼

产业链对口岗位

13
💼Data Engineer
3
💼Analytics Engineer
1
💼Data Platform Engineer
2
💼Data Governance Engineer
1
💼ML Data Engineer
3
💼Data Operations Engineer
1
💼Annotation Operations Lead
1
💼Synthetic Data Engineer
2
💼Data Quality Engineer
2
💼Search Engineer
2
💼Relevance Engineer
1
💼Vector Database Engineer
1
💼Retrieval Engineer
2
🔄子领域时序演进链路 (共 3 个子领域):
3.1

3.1 数据获取、处理与治理

查看独立子模块页➔

海量批流数据摄取、Lakehouse 湖仓架构 (Iceberg/Delta)、dbt 数据转换、元数据血缘、Data Contracts 契约与 PII 敏感隐私治理。

海量批流数据摄取与 Lakehouse 湖仓工程

基于 Apache Spark / Flink 的海量批流一体计算、Delta Lake / Apache Iceberg / Hudi 湖仓格式、dbt 业务逻辑建模、Schema Evolution 与多模态文档解析 (OCR/PDF Parsing)。

🏢 代表企业
DatabricksDatabricksSnowflakeSnowflakeConfluentConfluentFivetranFivetrandbt Labsdbt Labs
🛠️ 核心技术栈
Apache SparkApache FlinkApache IcebergDelta Lakedbt LabsSchema EvolutionMultimodal ParsingLakehouse
💼 典型岗位与薪资
Data Engineer、Analytics Engineer、Data Platform Engineer
💰 $175K - $360K / 年 (硅谷数据平台) | ¥45W - ¥110W / 年 (国内大数据架构)

数据治理、血缘追踪与安全合规管控

企业级 Data Catalog 目录、自动血缘追踪 (Column-level Lineage)、Data Contracts 生产契约、PII 个人隐私脱敏、授权合规 (Consent) 与数据集版本快照。

🏢 代表企业
DatabricksDatabricksCollibraCollibraMonte CarloMonte CarloBigIDBigIDSnowflakeSnowflake
🛠️ 核心技术栈
Data CatalogLineageData ContractsPII RedactionData PrivacyGreat ExpectationsConsent Governance
💼 典型岗位与薪资
Data Governance Engineer、Data Platform Engineer、Data Quality Engineer
💰 $165K - $340K / 年 (数据治理与合规) | ¥40W - ¥95W / 年
⬇
3.2

3.2 训练语料清洗、标注工程与合成数据

查看独立子模块页➔

TB/PB 级预训练数据清洗、MinHash 模糊去重、测试集去污染 (Decontamination)、高质量人审标注体系与可追溯合成数据引擎。

PB 级预训练语料清洗、去重与基准去污染

MinHash / LSH 模糊去重、FastText 语言与毒性过滤、HTML 噪声剔除、基准测试集防泄露去污染 (Decontamination 算法) 与多模态图文对清洗对齐。

🏢 代表企业
Scale AIScale AILabelboxLabelboxAppenAppenSurge AISurge AIHugging FaceHugging Face
🛠️ 核心技术栈
MinHash LSHDeduplicationDecontaminationFastTextPII RemovalData Quality ScoringFineWeb
💼 典型岗位与薪资
ML Data Engineer、Data Operations Engineer、Annotation Operations Lead
💰 $180K - $370K / 年 (大模型语料工程) | ¥48W - ¥115W / 年

合成数据引擎、沙箱执行验证与可追溯性

基于 Teacher LLM 的 Evol-Instruct 自动演化、代码沙箱执行反馈 (Execution Feedback)、拒绝采样 (Rejection Sampling)、人审质检闭环 (Human-in-the-loop) 与数据权属追踪 (Data Provenance & Rights)。

🏢 代表企业
Scale AIScale AIGretel.aiGretel.aiSnorkel AISnorkel AISurge AISurge AI
🛠️ 核心技术栈
Synthetic DataEvol-InstructRejection SamplingExecution FeedbackData ProvenanceHuman-in-the-loopSelf-Instruct
💼 典型岗位与薪资
Synthetic Data Engineer、ML Data Engineer、Data Quality Engineer
💰 $195K - $410K / 年 (合成数据研发) | ¥50W - ¥130W / 年
⬇
3.3

3.3 检索索引、搜索引擎与向量数据库基础设施

查看独立子模块页➔

倒排索引、BM25 文本检索、HNSW/IVF-PQ 向量索引、混合检索 (Dense+Sparse)、实时索引保鲜与 ACL 权限感知检索底座。

倒排索引、BM25 与企业级搜索引擎架构

Elasticsearch / OpenSearch 分布式倒排索引、BM25 词频打分与自适应分词、分片副本路由、查询改写、ACL 细粒度权限过滤与离线相关性评测 (nDCG / MRR)。

🏢 代表企业
ElasticsearchElasticsearchOpenSearchOpenSearchVespaVespaClickHouseClickHouse
🛠️ 核心技术栈
Inverted IndexBM25ElasticsearchOpenSearchVespaShardingACL RetrievalnDCG
💼 典型岗位与薪资
Search Engineer、Relevance Engineer、Retrieval Engineer
💰 $185K - $380K / 年 (搜索系统与相关性) | ¥45W - ¥110W / 年

向量数据库与高维向量索引 (HNSW / IVF-PQ)

HNSW 图索引构建与近邻剪枝、IVF-PQ 标量乘积量化压缩、SIMD/GPU 距离计算加速、标量+向量混合过滤 (Filtered Search) 与毫秒级实时索引保鲜 (Index Freshness)。

🏢 代表企业
PineconePineconeZilliz / MilvusZilliz / MilvusQdrantQdrantWeaviateWeaviate
🛠️ 核心技术栈
Vector DatabaseHNSW GraphIVF-PQEmbeddingPineconeMilvus / ZillizQdrantHybrid Retrieval
💼 典型岗位与薪资
Vector Database Engineer、Retrieval Engineer、Search Engineer
💰 $190K - $395K / 年 (向量数据库与系统研发) | ¥48W - ¥120W / 年