3.1
3.1 数据获取、处理与治理
海量批流数据摄取、Lakehouse 湖仓架构 (Iceberg/Delta)、dbt 数据转换、元数据血缘、Data Contracts 契约与 PII 敏感隐私治理。
海量批流数据摄取与 Lakehouse 湖仓工程
基于 Apache Spark / Flink 的海量批流一体计算、Delta Lake / Apache Iceberg / Hudi 湖仓格式、dbt 业务逻辑建模、Schema Evolution 与多模态文档解析 (OCR/PDF Parsing)。
🏢 标杆代表企业
Databricks、Snowflake、Confluent、Fivetran、dbt Labs
🛠️ 核心技术栈
Apache SparkApache FlinkApache IcebergDelta Lakedbt LabsSchema EvolutionMultimodal ParsingLakehouse
💼 典型岗位与薪资
Data Engineer、Analytics Engineer、Data Platform Engineer
💰 $175K - $360K / 年 (硅谷数据平台) | ¥45W - ¥110W / 年 (国内大数据架构)
📚 先决掌握技能:SQL 高级窗口函数与执行计划优化 • Apache Spark / Flink 内存计算模型 • Lakehouse 存储格式与 ACID 原理 • 分布式调度系统 (Airflow / Dagster)
数据治理、血缘追踪与安全合规管控
企业级 Data Catalog 目录、自动血缘追踪 (Column-level Lineage)、Data Contracts 生产契约、PII 个人隐私脱敏、授权合规 (Consent) 与数据集版本快照。
🏢 标杆代表企业
Databricks、Collibra、Monte Carlo、BigID、Snowflake
🛠️ 核心技术栈
Data CatalogLineageData ContractsPII RedactionData PrivacyGreat ExpectationsConsent Governance
💼 典型岗位与薪资
Data Governance Engineer、Data Platform Engineer、Data Quality Engineer
💰 $165K - $340K / 年 (数据治理与合规) | ¥40W - ¥95W / 年
📚 先决掌握技能:数据合规标准 (GDPR/CCPA/网安法) • 元数据管理与 OpenLineage 协议 • 数据质量监控与 SLA 预警体系 • 数据脱敏与加解密安全策略