Approximate Nearest Neighbors (HNSW / IVF): 解释 ANN 检索的召回率-延迟权衡参数。

Core Concept: 各索引都有'召回-延迟'旋钮：HNSW 的 efSearch、IVF 的 n_probe、PQ 的段数；需按 SLA 调优。

数学机理：<strong>'召回-延迟'的调优参数</strong>——(1) <strong>HNSW</strong>——<strong>efSearch</strong>（查询时的候选集大小）：(a) efSearch=10 → 快但召回低；(b) efSearch=200 → 召回高但慢；(c) 典型 50~200。<strong>注意</strong>——efSearch 必须 ≥ k（返回的 top-k 数）。(2) <strong>IVF</strong>——<strong>n_probe</strong>（搜索的簇数）：(a) n_probe=1 → 只搜最近的簇（快、召回低）；(b) n_probe=n_list → 退化为暴力搜索（慢、召回 100%）；(c) 典型 1~64。(3) <strong>PQ</strong>——<strong>段数 m</strong>（每段的维度 d/m）：(a) m 大 → 每段维度小 → 量化误差小（精度高）但存储大；(b) m 小 → 省内存但误差大；典型 m=64~192（d=768 时）。(4) <strong>其他</strong>——(a) <strong>量化位数</strong>（8 bit vs 4 bit）；(b) <strong>多级量化</strong>（RQ）；(c) <strong>索引类型</strong>（HNSW vs IVF vs 组合）。<strong>如何确定最优参数</strong>——(a) <strong>按 SLA 约束</strong>（如'P99 延迟 < 50ms'）；(b) <strong>在 SLA 内最大化召回</strong>（调 efSearch/n_probe 直到延迟接近上限）；(c) <strong>绘制'召回-延迟曲线'</strong>（不同参数下的曲线）；(d) <strong>用'精确检索'在小样本上测 ANN 召回率</strong>（这是必需的验证）；(e) <strong>按查询负载调</strong>（高并发时用更激进的参数）。<strong>为什么必须监控 ANN 召回率</strong>——(a) <strong>ANN 是近似的</strong>——其召回率（相对精确检索）<strong>必须</strong>测量，否则不知道'漏掉了多少'；(b) 召回率低 → 下游再好也无法补救（'garbage in'）；(c) 参数变化/数据增长会改变召回率；故需<strong>持续监控</strong>。<strong>测试方法</strong>——(a) 取<strong>小样本</strong>（如 1 万向量）做<strong>精确检索</strong>（暴力）作为'金标准'；(b) 对同一批查询算 ANN 的 top-k，比较<strong>召回率</strong>（ANN 的 top-k 中有多少在精确 top-k 中）；(c) 定期重测（数据/参数变化后）。<strong>与其他权衡的关系</strong>——(a) <strong>内存</strong>（HNSW 内存大、PQ 省）；(b) <strong>构建时间</strong>（efConstruction/M 影响）；(c) <strong>更新能力</strong>（HNSW 支持插入、删除难）。<strong>实践建议</strong>——(a) <strong>先测精确检索的基线</strong>（小样本）；(b) <strong>按 SLA 调参</strong>（efSearch/n_probe）；(c) <strong>绘召回-延迟曲线</strong>（找拐点）；(d) <strong>量化 + 重排</strong>（兼顾内存与精度）；(e) <strong>持续监控召回率</strong>（数据增长后可能下降）。<strong>度量</strong>——(a) <strong>ANN 召回率</strong>（vs 精确检索）；(b) 延迟（P50/P99）；(c) QPS；(d) 内存。

深度剖析与工程权衡：① <strong>'必须测 ANN 召回率'是纪律</strong>——ANN 是近似的；不测就不知道漏了多少；面试中能指出这一点是深度理解的标志。② <strong>'efSearch/n_probe 是召回-延迟旋钮'</strong>——在 SLA 内最大化召回是最优策略。③ <strong>'召回-延迟曲线找拐点'</strong>——通常曲线在某个参数后有'召回饱和但延迟继续增'的拐点；应在拐点附近选参。④ <strong>'efSearch ≥ k'的硬约束</strong>——否则无法返回 k 个结果（易被忽略的细节）。⑤ <strong>'数据增长会降低召回率'</strong>——因为索引的'有效覆盖'变化；故需定期重测。⑥ <strong>面试要点</strong>——被问'ANN 参数怎么调'，应给出'<strong>旋钮（efSearch/n_probe/m）+ 按 SLA 最大化召回 + 绘召回-延迟曲线 + 用精确检索验证召回率</strong>'；能指出'必须监控 ANN 召回率'是深度理解的标志。