⬅ AI 全产业总图/Layer 03 · 03. 数据工程与数据基础设施
3.3

3.3 检索索引、搜索引擎与向量数据库基础设施

倒排索引、BM25 文本检索、HNSW/IVF-PQ 向量索引、混合检索 (Dense+Sparse)、实时索引保鲜与 ACL 权限感知检索底座。

倒排索引、BM25 与企业级搜索引擎架构

Elasticsearch / OpenSearch 分布式倒排索引、BM25 词频打分与自适应分词、分片副本路由、查询改写、ACL 细粒度权限过滤与离线相关性评测 (nDCG / MRR)。

🏢 标杆代表企业
Elasticsearch、OpenSearch、Vespa、ClickHouse
🛠️ 核心技术栈
Inverted IndexBM25ElasticsearchOpenSearchVespaShardingACL RetrievalnDCG
💼 典型岗位与薪资
Search Engineer、Relevance Engineer、Retrieval Engineer
💰 $185K - $380K / 年 (搜索系统与相关性) | ¥45W - ¥110W / 年
📚 先决掌握技能:信息检索 (IR) 核心理论与倒排索引实现 • BM25 算法推导与 TF-IDF 演进 • 分布式分片 (Sharding) 与高并发查询缓存 • 离线评估指标 (nDCG@K, MRR, Precision/Recall)

向量数据库与高维向量索引 (HNSW / IVF-PQ)

HNSW 图索引构建与近邻剪枝、IVF-PQ 标量乘积量化压缩、SIMD/GPU 距离计算加速、标量+向量混合过滤 (Filtered Search) 与毫秒级实时索引保鲜 (Index Freshness)。

🏢 标杆代表企业
Pinecone、Zilliz / Milvus、Qdrant、Weaviate
🛠️ 核心技术栈
Vector DatabaseHNSW GraphIVF-PQEmbeddingPineconeMilvus / ZillizQdrantHybrid Retrieval
💼 典型岗位与薪资
Vector Database Engineer、Retrieval Engineer、Search Engineer
💰 $190K - $395K / 年 (向量数据库与系统研发) | ¥48W - ¥120W / 年
📚 先决掌握技能:ANN 高维空间近似最近邻算法 (HNSW/IVF) • C++ / Rust 高性能并发与 SIMD 汇编优化 • 向量量化 (PQ / SQ) 与显存压缩技术 • 标量过滤执行引擎与单阶段/两阶段检索