J6MediumPart J · 推荐系统与搜索指标
BM25 词频检索打分算法(Okapi BM25)
搜索引擎与稀疏混合检索(Hybrid Search)王者,融合词频饱和度与文档长度归一化。
⏱️ 时间复杂度:
O(|Q| * 命中倒排链长)💾 空间复杂度:
O(词表 + 倒排索引索引空间)🎯 免登录实战自测闭环(先做再看答案)
按「机制回忆 → 关键行填空 → 边界反例 → 追问与错题记录」顺序自测,进度自动保存在本地。
Step 1 · 机制口述与数值稳定性自检
Step 2 · 核心代码关键行补全
import numpy as np
import math
class BM25:
def __init__(self, corpus: list, k1: float = 1.5, b: float = 0.75):
self.k1 = k1
self.b = b
self.corpus_size = len(corpus)
self.doc_lens = [len(doc) for doc in corpus]
self.avgdl =
# 统计词频与文档频率 (DF)
self.doc_freqs = {}
for doc in corpus:
unique_words = set(doc)
for w in unique_words:
self.doc_freqs[w] = self.doc_freqs.get(w, 0) + 1
def get_idf(self, word: str) -> float:
df = self.doc_freqs.get(word, 0)
# 常见平滑形式: ln((N - df + 0.5) / (df + 0.5) + 1.0)
return math.log((self.corpus_size - df + 0.5) / (df + 0.5) + 1.0)
def score(self, query: list, doc_idx: int) -> float:
doc = self.corpus[doc_idx] if hasattr(self, 'corpus') else None
doc_len = self.doc_lens[doc_idx]
score = 0.0
len_norm = 1.0 - self.b + self.b * (doc_len / self.avgdl)
for q in query:
if q not in self.doc_freqs:
continue
# 统计词在当前 doc 的词频
tf = self.count_in_doc(q, doc_idx)
idf = self.get_idf(q)
score += idf * (tf * (self.k1 + 1.0)) / (tf + self.k1 * len_norm)
return float(score)
def count_in_doc(self, word: str, doc_idx: int) -> int:
return self._corpus_tokens[doc_idx].get(word, 0)
def build_bm25(corpus: list, k1: float = 1.5, b: float = 0.75):
bm = BM25(corpus, k1, b)
bm._corpus_tokens = []
for doc in corpus:
counts = {}
for w in doc:
counts[w] =
bm._corpus_tokens.append(counts)
return bm
Step 3 · 反例与边界断言核对
Step 4 · 面试追问盲答与错题记录
Q1: 在混合检索(Hybrid Search)中,RRF(倒数排名融合)是如何组合 Dense 向量检索与 BM25 的?
💡
实战一句话记忆口诀
词频多后趋饱和,篇幅长了分母扣,稀疏检索抗打王,混合 RAG 定江山
📐 核心数学公式与机理推导
### 词频饱和度与长度惩罚机理
传统 TF-IDF 的主要痛点在于:词频 线性增加会导致打分无上限放大。一个包含 100 次某关键词的垃圾长网页会严重压制正常短文。
Stephen Robertson 等人在 1994 年提出 Okapi BM25:
1. 词频饱和曲线(TF Saturation):
当词频 时,其增益渐近收敛至上限 (通常 ),词频越多收益边际递减;
2. 文档长度惩罚(Document Length Penalty):
若文档长度 远大于语料库平均长度 ,分母变大,对词频进行压制惩罚(参数 通常取 0.75);
3. 逆文档频率(IDF):衡量词的稀有程度,惩罚停用词。
传统 TF-IDF 的主要痛点在于:词频 线性增加会导致打分无上限放大。一个包含 100 次某关键词的垃圾长网页会严重压制正常短文。
Stephen Robertson 等人在 1994 年提出 Okapi BM25:
1. 词频饱和曲线(TF Saturation):
当词频 时,其增益渐近收敛至上限 (通常 ),词频越多收益边际递减;
2. 文档长度惩罚(Document Length Penalty):
若文档长度 远大于语料库平均长度 ,分母变大,对词频进行压制惩罚(参数 通常取 0.75);
3. 逆文档频率(IDF):衡量词的稀有程度,惩罚停用词。
🔄 张量维度与形状流转说明
query 单词列表 -> 查询各词 IDF -> 计算词频饱和项 -> 除以文档长度折现 -> 累加输出得分
🛡️ 数值稳定性自检与边界要点
- IDF 公式中加 1.0 保证值始终严格大于 0,避免出现负 IDF
- 在现代大模型 RAG 中,BM25 稀疏检索常与 Dense 语义向量通过 RRF(Reciprocal Rank Fusion)倒数排名融合形成混合检索
💻 完整参考代码实现
import numpy as np
import math
class BM25:
def __init__(self, corpus: list, k1: float = 1.5, b: float = 0.75):
self.k1 = k1
self.b = b
self.corpus_size = len(corpus)
self.doc_lens = [len(doc) for doc in corpus]
self.avgdl = sum(self.doc_lens) / max(1, self.corpus_size)
# 统计词频与文档频率 (DF)
self.doc_freqs = {}
for doc in corpus:
unique_words = set(doc)
for w in unique_words:
self.doc_freqs[w] = self.doc_freqs.get(w, 0) + 1
def get_idf(self, word: str) -> float:
df = self.doc_freqs.get(word, 0)
# 常见平滑形式: ln((N - df + 0.5) / (df + 0.5) + 1.0)
return math.log((self.corpus_size - df + 0.5) / (df + 0.5) + 1.0)
def score(self, query: list, doc_idx: int) -> float:
doc = self.corpus[doc_idx] if hasattr(self, 'corpus') else None
doc_len = self.doc_lens[doc_idx]
score = 0.0
len_norm = 1.0 - self.b + self.b * (doc_len / self.avgdl)
for q in query:
if q not in self.doc_freqs:
continue
# 统计词在当前 doc 的词频
tf = self.count_in_doc(q, doc_idx)
idf = self.get_idf(q)
score += idf * (tf * (self.k1 + 1.0)) / (tf + self.k1 * len_norm)
return float(score)
def count_in_doc(self, word: str, doc_idx: int) -> int:
return self._corpus_tokens[doc_idx].get(word, 0)
def build_bm25(corpus: list, k1: float = 1.5, b: float = 0.75):
bm = BM25(corpus, k1, b)
bm._corpus_tokens = []
for doc in corpus:
counts = {}
for w in doc:
counts[w] = counts.get(w, 0) + 1
bm._corpus_tokens.append(counts)
return bm
🧪 本地测试与正确性断言
可直接复制到本地 Python / Jupyter 验证:
import numpy as np
corpus = [["deep", "learning"], ["machine", "learning", "deep"], ["apple", "banana"]]
bm = build_bm25(corpus)
# 检索 "deep"
s0 = bm.score(["deep"], 0)
s2 = bm.score(["deep"], 2)
assert s0 > s2 and s2 == 0.0, "不含关键词的文档得分应为 0"
print("✓ BM25 词频检索算法自测通过")🎯 核心工程追问与标准应答
Q1:在混合检索(Hybrid Search)中,RRF(倒数排名融合)是如何组合 Dense 向量检索与 BM25 的?
稠密向量打分和 BM25 得分尺度完全不可比。RRF 抛弃分数数值,直接利用排名的倒数加权:(通常常数 )。无论两边分数怎么波动,排在双方前列的文档均能获得最高置信度。
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!