3.3
3.3 检索索引、搜索引擎与向量数据库基础设施
倒排索引、BM25 文本检索、HNSW/IVF-PQ 向量索引、混合检索 (Dense+Sparse)、实时索引保鲜与 ACL 权限感知检索底座。
倒排索引、BM25 与企业级搜索引擎架构
Elasticsearch / OpenSearch 分布式倒排索引、BM25 词频打分与自适应分词、分片副本路由、查询改写、ACL 细粒度权限过滤与离线相关性评测 (nDCG / MRR)。
🏢 标杆代表企业
Elasticsearch、OpenSearch、Vespa、ClickHouse
🛠️ 核心技术栈
Inverted IndexBM25ElasticsearchOpenSearchVespaShardingACL RetrievalnDCG
💼 典型岗位与薪资
Search Engineer、Relevance Engineer、Retrieval Engineer
💰 $185K - $380K / 年 (搜索系统与相关性) | ¥45W - ¥110W / 年
📚 先决掌握技能:信息检索 (IR) 核心理论与倒排索引实现 • BM25 算法推导与 TF-IDF 演进 • 分布式分片 (Sharding) 与高并发查询缓存 • 离线评估指标 (nDCG@K, MRR, Precision/Recall)
向量数据库与高维向量索引 (HNSW / IVF-PQ)
HNSW 图索引构建与近邻剪枝、IVF-PQ 标量乘积量化压缩、SIMD/GPU 距离计算加速、标量+向量混合过滤 (Filtered Search) 与毫秒级实时索引保鲜 (Index Freshness)。
🏢 标杆代表企业
Pinecone、Zilliz / Milvus、Qdrant、Weaviate
🛠️ 核心技术栈
Vector DatabaseHNSW GraphIVF-PQEmbeddingPineconeMilvus / ZillizQdrantHybrid Retrieval
💼 典型岗位与薪资
Vector Database Engineer、Retrieval Engineer、Search Engineer
💰 $190K - $395K / 年 (向量数据库与系统研发) | ¥48W - ¥120W / 年
📚 先决掌握技能:ANN 高维空间近似最近邻算法 (HNSW/IVF) • C++ / Rust 高性能并发与 SIMD 汇编优化 • 向量量化 (PQ / SQ) 与显存压缩技术 • 标量过滤执行引擎与单阶段/两阶段检索