Approximate Nearest Neighbors (HNSW / IVF): 解释量化对 ANN 召回的影响与重排补偿。

Core Concept: PQ/二值量化降低精度（召回下降）；用'量化粗筛 + 全精度重排'补偿，使量化误差只影响候选集大小。

数学机理：<strong>量化对召回的影响</strong>——量化把向量映射到'近似表示'（PQ 码字/二值），故'近似距离'偏离真实距离；<strong>后果</strong>——(a) <strong>真相关文档可能被排到 K 名之外</strong>（因为它的近似距离不占优）→ 召回下降；(b) 量化越激进（PQ 段数少、二值），误差越大、召回越低。<strong>补偿机制（量化粗筛 + 全精度重排）</strong>——(1) <strong>粗筛（coarse）</strong>——用<strong>量化距离</strong>快速检索出 <strong>K 个候选</strong>（K 较大，如 1000~10000）；(2) <strong>重排（rerank）</strong>——用<strong>完整向量</strong>（或更强的模型）对这 K 个候选<strong>精确计算</strong>距离，取 <strong>k 个</strong>（如 10）。<strong>为什么有效</strong>——量化误差只影响'候选集是否包含真相关文档'（即'真相关的文档是否落在 top-K 内'）；只要 K 足够大，真相关的文档<strong>大概率</strong>在候选集内，则重排能把它捞出来。<strong>关键</strong>——(a) <strong>K 必须足够大</strong>（覆盖量化误差的影响范围）；(b) <strong>重排必须用完整向量</strong>（否则无补偿效果）；(c) 代价是'读 K 个完整向量'（访存成本）。<strong>量化粒度的影响</strong>——(a) <strong>PQ 段数 m</strong>——m 大 → 误差小 → 召回高但存储多；(b) <strong>量化位数</strong>（8 bit vs 4 bit）；(c) <strong>二值量化</strong>——误差最大（但省 32 倍内存）；(d) <strong>多级量化（RQ）</strong>——多级逼近（误差小）。<strong>为什么'二值 + 重排'可行</strong>——二值量化的误差虽大，但'粗筛 + 重排'可补偿；且<strong>二值的距离计算极快</strong>（汉明距离用位运算）；故'二值粗筛（超快、省内存）+ 全精度重排（准）'是'极致省内存 + 高精度'的方案。<strong>实证</strong>——(a) 'PQ 粗筛 + 重排'的最终精度可<strong>接近</strong>全精度检索（代价是 K 大）；(b) 有研究显示'二值 + 重排'在中等 K 下也能达到高精度。<strong>与其他技术的关系</strong>——(a) 与<strong>cross-encoder 重排</strong>配合（量化粗筛 → 向量重排 → cross-encoder 精排）；(b) 与<strong>MRL</strong>配合（短向量粗筛、长向量重排）；(c) 与<strong>GPU</strong>配合（量化距离可 GPU 并行）。<strong>实践建议</strong>——(a) <strong>量化粗筛的 K 要够大</strong>（按量化误差调）；(b) <strong>重排用完整向量</strong>（必做）；(c) <strong>二值量化 + 重排</strong>（极致省内存）；(d) <strong>测端到端召回</strong>（量化 + 重排后的最终召回）；(e) <strong>权衡</strong>（K 大则重排成本高）。<strong>度量</strong>——(a) 粗筛的召回（真相关是否在 top-K）；(b) 重排后的最终召回/NDCG；(c) 内存占用；(d) 延迟（含重排成本）。

深度剖析与工程权衡：① <strong>'量化误差只影响候选集，不影响最终精度'是关键洞察</strong>——它使'省内存'与'高精度'可兼得；面试中能指出这一点是深度理解的标志。② <strong>'K 必须足够大'</strong>——按量化误差调；K 太小则真相关被漏。③ <strong>'二值 + 重排可行'</strong>——二值的距离计算极快（位运算）且省 32 倍内存；故是'极致省内存'的方案。④ <strong>'多级重排'</strong>——量化粗筛 → 向量重排 → cross-encoder 精排；逐级提升精度（与级联设计同源）。⑤ <strong>'重排的访存成本'</strong>——读 K 个完整向量有成本；故 K 不能无限大。⑥ <strong>面试要点</strong>——被问'量化会不会损精度'，应给出'<strong>量化误差 → 召回下降 + 重排补偿（量化粗筛 + 全精度重排）+ K 要够大</strong>'与'<strong>二值 + 重排可行</strong>'；能指出'误差只影响候选集'是深度理解的标志。