M7-036M7: 检索、排序与推荐系统ANN 索引Hard
⚡闪卡盲测➔掌握度:

解释十亿级索引的分片与路由

🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
下一题: M7-037 →
📐 核心数学机理公式
shard: {index1,…,indexS};query→subset of shards→merge\text{shard}:\ \{\text{index}_1,\dots,\text{index}_S\};\qquad \text{query}\to\text{subset of shards}\to\text{merge}
⚡ 一句话直击要害答案
把索引分到多机(按向量/按簇/按哈希);查询需'路由到相关分片'并'合并结果';关键是减少需访问的分片数。

📌 核心要点提炼

  • •
    分片方式:随机(全扫)、按簇(只查相关簇)、按元数据
  • •
    路由:决定查询发到哪些分片(减少访问数)
  • •
    合并:各分片返回 top-k,全局合并取 top-k

📐 数学机理与严密推导

数学机理:十亿级索引的分片——单机内存无法容纳(1e9×768×4 字节 ≈ 3 TB),故需分片(sharding) 到多机。分片方式——(1) 随机分片(random)——按文档 id 哈希分片;问题——查询时必须访问所有分片(因为不知道最近邻在哪个分片)→ 扇出(fan-out)大(延迟 = 最慢分片 + 合并);优点——简单、负载均衡。(2) 按簇分片(cluster-based / IVF-style)——先做全局聚类(或用粗粒度量化),把相近的向量分到同一分片;查询时只访问'最近的若干簇'所在的分片;优点——扇出小(只查少数分片);缺点——需维护全局的簇到分片的映射(且分片负载可能不均)。(3) 按元数据分片——按类别/时间/地区分;优点——支持'过滤 + 路由'(只查相关分片);缺点——分片粒度受限(元数据基数低)。(4) 混合——先按元数据路由,再在子集内按簇路由。路由(routing)——决定查询发到哪些分片:(a) 全扇出(随机分片)——延迟高(最慢分片决定);(b) 选择性路由(按簇/元数据)——只查相关分片(延迟低);(c) 两层路由——先用'路由索引'(小)定位到候选分片,再在分片内检索。合并(merge)——各分片返回本地 top-k,全局合并取 top-k;注意——(a) 每个分片需返回 k 个(而非 k/S)以保证全局正确;(b) 若用'分数'合并需分数可比(同空间);(c) 若用'排名'可 RRF。关键指标——(a) 扇出(fan-out)——访问的分片数(越小越好);(b) 延迟——由最慢分片决定(故需负载均衡 + 慢分片检测);(c) 召回率——分片 + 路由会引入额外损失(需测);(d) 负载均衡——热点分片会成为瓶颈。实践建议——(a) 随机分片 + 全扇出(简单,适合分片数少,如 <10);(b) 按簇分片 + 选择性路由(分片多时必需);(c) 按元数据分片(支持过滤);(d) 每分片返回 k 个(保证全局正确);(e) 负载均衡 + 慢分片监控(延迟由最慢决定);(f) 测分片后的召回率(vs 单机)。度量——(a) 扇出数;(b) 延迟(P50/P99);(c) 召回率;(d) 各分片的负载均衡度;(e) 成本。

🏭 深度剖析与工业落地权衡

深度剖析与工程权衡:① '随机分片必须全扇出'是关键约束——它使延迟由'最慢分片'决定;面试中能指出这一点是深度理解的标志。② '按簇分片减少扇出'——这是'用聚类换延迟'的思路;是十亿级的必需。③ '每分片返回 k 个'——易被忽略但必要(否则全局 top-k 不正确)。④ '延迟由最慢分片决定'——故需负载均衡 + 慢分片检测(尾延迟是分布式检索的核心问题)。⑤ '分片引入额外召回损失'——需测量(vs 单机基线);这是'分布式'的代价。⑥ 面试要点——被问'十亿级索引怎么分片',应给出'随机(全扇出)/ 按簇(选择性路由)/ 按元数据 + 路由 + 合并(每分片返回 k)+ 负载均衡'与'扇出决定延迟';能指出'延迟由最慢分片决定'是深度理解的标志。
⚠️ 常见面试陷阱与高频失分点
  • ✕
    随机分片且分片数很多(全扇出延迟高)
  • ✕
    每分片只返回 k/S 个结果(全局不正确)
🎯 面试官连环追问与延伸考察
  • ?
    为什么'随机分片'要全扫?
  • ?
    如何减少访问的分片数?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
📚

关联知识库专题与交互式导图

← 上一题M7-035: 解释 GPU 加速的 ANN(如 CAGRA)与硬件协同📋 返回题库下一题 →M7-037: 解释量化对 ANN 召回的影响与重排补偿