J7Medium★ 企业 RAG 必考 · 检索融合Part J · 推荐系统与搜索指标
Hybrid Search:权限预过滤与 RRF 倒数排名融合
在多租户 ACL 或元数据严格过滤下先做预过滤再计算 Dense 与 Sparse RRF 融合排序,避免后过滤造成 Top-K 召回坍缩。
⏱️ 时间复杂度:
O(M_valid log M_valid) 候选集排序融合💾 空间复杂度:
O(M_valid)🎯 免登录实战自测闭环(先做再看答案)
按「机制回忆 → 关键行填空 → 边界反例 → 追问与错题记录」顺序自测,进度自动保存在本地。
Step 1 · 机制口述与数值稳定性自检
Step 2 · 核心代码关键行补全
import numpy as np
def hybrid_search_rrf_prefilter(
dense_scores: np.ndarray,
sparse_scores: np.ndarray,
allowed_mask: np.ndarray,
top_k: int = 3,
rrf_k: int = 60,
) -> list:
"""
Pre-filtered Hybrid Search combining Dense cosine and Sparse lexical scores via RRF.
Pre-filtering before Top-K/fusion guarantees recall never collapses under strict ACL/metadata filters.
"""
valid_indices =
if len(valid_indices) == 0:
return []
# Rank strictly within pre-filtered candidate pool (1-based rank, descending score)
dense_order = valid_indices[np.argsort(-dense_scores[valid_indices], kind="mergesort")]
sparse_order = valid_indices[np.argsort(-sparse_scores[valid_indices], kind="mergesort")]
rrf = {}
for rank_0, doc_id in enumerate(dense_order):
rrf[int(doc_id)] = rrf.get(int(doc_id), 0.0) + 1.0 / (rrf_k + rank_0 + 1)
for rank_0, doc_id in enumerate(sparse_order):
rrf[int(doc_id)] = rrf.get(int(doc_id), 0.0) + 1.0 / (rrf_k + rank_0 + 1)
ranked =
return [doc_id for doc_id, _ in ranked[:top_k]]
Step 3 · 反例与边界断言核对
Step 4 · 面试追问盲答与错题记录
Q1: 在 HNSW 向量图索引上直接做严格 Pre-filtering 为什么可能出现“图断链”?业界如何处理?
💡
实战一句话记忆口诀
权限先预过滤防空池,稠密稀疏各算榜,倒数排名相加免调标度
📐 核心数学公式与机理推导
### 后过滤(Post-Filtering)坍缩反例与 RRF 尺度无关性
1. 为什么不能先 Top-K 再过滤(Post-Filtering)?
当目标租户/时间条件只占全库的 1% 时,先取全局 Top-100 再按权限过滤,极易得到 0 条可用结果。必须在进入排序融合或图检索步之前通过
2. 为什么选 RRF 而不是直接把余弦相似度加 BM25?
Dense 余弦分数落在 ,BM25 分数无上限(如 ),线性相加会被 BM25 尺度淹没。RRF 只看各路排位 (常取 ),无需手工调归一化权重。
1. 为什么不能先 Top-K 再过滤(Post-Filtering)?
当目标租户/时间条件只占全库的 1% 时,先取全局 Top-100 再按权限过滤,极易得到 0 条可用结果。必须在进入排序融合或图检索步之前通过
allowed_mask 执行预过滤;2. 为什么选 RRF 而不是直接把余弦相似度加 BM25?
Dense 余弦分数落在 ,BM25 分数无上限(如 ),线性相加会被 BM25 尺度淹没。RRF 只看各路排位 (常取 ),无需手工调归一化权重。
🔄 张量维度与形状流转说明
dense_scores, sparse_scores, allowed_mask -> 提取有效下标 valid_indices -> 各路独立降序排名 -> 1/(rrf_k + rank) 累加 -> Top-K
🛡️ 数值稳定性自检与边界要点
- 企业多租户 RAG 必须保证先过 ACL
allowed_mask再进融合或向量图遍历,避免无权文档占用候选配额或泄露排序信号 - 允许集合为空时必须尽早返回
[],不可在空切片上继续索引
💻 完整参考代码实现
import numpy as np
def hybrid_search_rrf_prefilter(
dense_scores: np.ndarray,
sparse_scores: np.ndarray,
allowed_mask: np.ndarray,
top_k: int = 3,
rrf_k: int = 60,
) -> list:
"""
Pre-filtered Hybrid Search combining Dense cosine and Sparse lexical scores via RRF.
Pre-filtering before Top-K/fusion guarantees recall never collapses under strict ACL/metadata filters.
"""
valid_indices = np.where(allowed_mask)[0]
if len(valid_indices) == 0:
return []
# Rank strictly within pre-filtered candidate pool (1-based rank, descending score)
dense_order = valid_indices[np.argsort(-dense_scores[valid_indices], kind="mergesort")]
sparse_order = valid_indices[np.argsort(-sparse_scores[valid_indices], kind="mergesort")]
rrf = {}
for rank_0, doc_id in enumerate(dense_order):
rrf[int(doc_id)] = rrf.get(int(doc_id), 0.0) + 1.0 / (rrf_k + rank_0 + 1)
for rank_0, doc_id in enumerate(sparse_order):
rrf[int(doc_id)] = rrf.get(int(doc_id), 0.0) + 1.0 / (rrf_k + rank_0 + 1)
ranked = sorted(rrf.items(), key=lambda kv: (-kv[1], kv[0]))
return [doc_id for doc_id, _ in ranked[:top_k]]
🧪 本地测试与正确性断言
可直接复制到本地 Python / Jupyter 验证:
import numpy as np
# Counterexample: docs 0..3 rank highest globally but fail tenant ACL; only docs 4, 5 match ACL!
dense = np.array([0.99, 0.98, 0.97, 0.96, 0.60, 0.55])
sparse = np.array([9.0, 8.5, 8.0, 7.5, 4.0, 5.2])
acl_mask = np.array([False, False, False, False, True, True])
res = hybrid_search_rrf_prefilter(dense, sparse, acl_mask, top_k=2, rrf_k=60)
assert res == [4, 5] or res == [5, 4], f"Pre-filter must retrieve valid docs [4, 5], got {res}"
print("✓ Hybrid Search pre-filter RRF assertion passed")🎯 核心工程追问与标准应答
Q1:在 HNSW 向量图索引上直接做严格 Pre-filtering 为什么可能出现“图断链”?业界如何处理?
当过滤比例极高(如仅剩 1% 节点满足条件)时,纯过滤遍历会因为大量邻居节点不合规而无法跳向目标区域。常见解法:1. Filtered-HNSW 检索时允许借道不合规节点跳转,但仅收集满足过滤条件的候选;2. 当过滤集本身很小(如 < 几千条)时直接切换为精确暴力扫描(Brute-force Exact Scan)。
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!