J6MediumPart J · 推荐系统与搜索指标

BM25 词频检索打分算法(Okapi BM25)

⚡闪卡盲测➔

搜索引擎与稀疏混合检索(Hybrid Search)王者,融合词频饱和度与文档长度归一化。

⏱️ 时间复杂度: O(|Q| * 命中倒排链长)
💾 空间复杂度: O(词表 + 倒排索引索引空间)
🎯 免登录实战自测闭环(先做再看答案)
按「机制回忆 → 关键行填空 → 边界反例 → 追问与错题记录」顺序自测,进度自动保存在本地。
Step 1 · 机制口述与数值稳定性自检
Step 2 · 核心代码关键行补全
import numpy as np
import math
class BM25:
def __init__(self, corpus: list, k1: float = 1.5, b: float = 0.75):
self.k1 = k1
self.b = b
self.corpus_size = len(corpus)
self.doc_lens = [len(doc) for doc in corpus]
self.avgdl =
# 统计词频与文档频率 (DF)
self.doc_freqs = {}
for doc in corpus:
unique_words = set(doc)
for w in unique_words:
self.doc_freqs[w] = self.doc_freqs.get(w, 0) + 1
def get_idf(self, word: str) -> float:
df = self.doc_freqs.get(word, 0)
# 常见平滑形式: ln((N - df + 0.5) / (df + 0.5) + 1.0)
return math.log((self.corpus_size - df + 0.5) / (df + 0.5) + 1.0)
def score(self, query: list, doc_idx: int) -> float:
doc = self.corpus[doc_idx] if hasattr(self, 'corpus') else None
doc_len = self.doc_lens[doc_idx]
score = 0.0
len_norm = 1.0 - self.b + self.b * (doc_len / self.avgdl)
for q in query:
if q not in self.doc_freqs:
continue
# 统计词在当前 doc 的词频
tf = self.count_in_doc(q, doc_idx)
idf = self.get_idf(q)
score += idf * (tf * (self.k1 + 1.0)) / (tf + self.k1 * len_norm)
return float(score)
def count_in_doc(self, word: str, doc_idx: int) -> int:
return self._corpus_tokens[doc_idx].get(word, 0)
def build_bm25(corpus: list, k1: float = 1.5, b: float = 0.75):
bm = BM25(corpus, k1, b)
bm._corpus_tokens = []
for doc in corpus:
counts = {}
for w in doc:
counts[w] =
bm._corpus_tokens.append(counts)
return bm
Step 3 · 反例与边界断言核对
Step 4 · 面试追问盲答与错题记录
Q1: 在混合检索(Hybrid Search)中,RRF(倒数排名融合)是如何组合 Dense 向量检索与 BM25 的?
下一题: Hybrid Search:权限预过滤与 RRF 倒数排名融合 →
💡

实战一句话记忆口诀

词频多后趋饱和,篇幅长了分母扣,稀疏检索抗打王,混合 RAG 定江山

📐 核心数学公式与机理推导

Score(D,Q)=∑q∈QIDF(q)⋅f(q,D)⋅(k1+1)f(q,D)+k1⋅(1−b+b⋅∣D∣avgdl)\mathrm{Score}(D, Q) = \sum_{q \in Q} \mathrm{IDF}(q) \cdot \frac{f(q, D) \cdot (k_1 + 1)}{f(q, D) + k_1 \cdot \left(1 - b + b \cdot \frac{|D|}{\mathrm{avgdl}}\right)}
### 词频饱和度与长度惩罚机理
传统 TF-IDF 的主要痛点在于:词频 ff 线性增加会导致打分无上限放大。一个包含 100 次某关键词的垃圾长网页会严重压制正常短文。
Stephen Robertson 等人在 1994 年提出 Okapi BM25:
1. 词频饱和曲线(TF Saturation):
f⋅(k1+1)f+k1\frac{f \cdot (k_1 + 1)}{f + k_1}
当词频 f→∞f \to \infty 时,其增益渐近收敛至上限 k1+1k_1 + 1(通常 k1∈[1.2,2.0]k_1 \in [1.2, 2.0]),词频越多收益边际递减;
2. 文档长度惩罚(Document Length Penalty):
1−b+b⋅∣D∣avgdl1 - b + b \cdot \frac{|D|}{\mathrm{avgdl}}
若文档长度 ∣D∣|D| 远大于语料库平均长度 avgdl\mathrm{avgdl},分母变大,对词频进行压制惩罚(参数 bb 通常取 0.75);
3. 逆文档频率(IDF):衡量词的稀有程度,惩罚停用词。

🔄 张量维度与形状流转说明

query 单词列表 -> 查询各词 IDF -> 计算词频饱和项 -> 除以文档长度折现 -> 累加输出得分

🛡️ 数值稳定性自检与边界要点

  • IDF 公式中加 1.0 保证值始终严格大于 0,避免出现负 IDF
  • 在现代大模型 RAG 中,BM25 稀疏检索常与 Dense 语义向量通过 RRF(Reciprocal Rank Fusion)倒数排名融合形成混合检索

💻 完整参考代码实现

import numpy as np
import math

class BM25:
    def __init__(self, corpus: list, k1: float = 1.5, b: float = 0.75):
        self.k1 = k1
        self.b = b
        self.corpus_size = len(corpus)
        self.doc_lens = [len(doc) for doc in corpus]
        self.avgdl = sum(self.doc_lens) / max(1, self.corpus_size)
        
        # 统计词频与文档频率 (DF)
        self.doc_freqs = {}
        for doc in corpus:
            unique_words = set(doc)
            for w in unique_words:
                self.doc_freqs[w] = self.doc_freqs.get(w, 0) + 1
                
    def get_idf(self, word: str) -> float:
        df = self.doc_freqs.get(word, 0)
        # 常见平滑形式: ln((N - df + 0.5) / (df + 0.5) + 1.0)
        return math.log((self.corpus_size - df + 0.5) / (df + 0.5) + 1.0)
        
    def score(self, query: list, doc_idx: int) -> float:
        doc = self.corpus[doc_idx] if hasattr(self, 'corpus') else None
        doc_len = self.doc_lens[doc_idx]
        score = 0.0
        
        len_norm = 1.0 - self.b + self.b * (doc_len / self.avgdl)
        for q in query:
            if q not in self.doc_freqs:
                continue
            # 统计词在当前 doc 的词频
            tf = self.count_in_doc(q, doc_idx)
            idf = self.get_idf(q)
            score += idf * (tf * (self.k1 + 1.0)) / (tf + self.k1 * len_norm)
        return float(score)
        
    def count_in_doc(self, word: str, doc_idx: int) -> int:
        return self._corpus_tokens[doc_idx].get(word, 0)

def build_bm25(corpus: list, k1: float = 1.5, b: float = 0.75):
    bm = BM25(corpus, k1, b)
    bm._corpus_tokens = []
    for doc in corpus:
        counts = {}
        for w in doc:
            counts[w] = counts.get(w, 0) + 1
        bm._corpus_tokens.append(counts)
    return bm

🧪 本地测试与正确性断言

可直接复制到本地 Python / Jupyter 验证:

import numpy as np
corpus = [["deep", "learning"], ["machine", "learning", "deep"], ["apple", "banana"]]
bm = build_bm25(corpus)
# 检索 "deep"
s0 = bm.score(["deep"], 0)
s2 = bm.score(["deep"], 2)
assert s0 > s2 and s2 == 0.0, "不含关键词的文档得分应为 0"
print("✓ BM25 词频检索算法自测通过")

🎯 核心工程追问与标准应答

Q1:在混合检索(Hybrid Search)中,RRF(倒数排名融合)是如何组合 Dense 向量检索与 BM25 的?
稠密向量打分和 BM25 得分尺度完全不可比。RRF 抛弃分数数值,直接利用排名的倒数加权:RRF(d)=1k+rdense(d)+1k+rbm25(d)\mathrm{RRF}(d) = \frac{1}{k + r_{\mathrm{dense}}(d)} + \frac{1}{k + r_{\mathrm{bm25}}(d)}(通常常数 k=60k=60)。无论两边分数怎么波动,排在双方前列的文档均能获得最高置信度。
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
← 上一题: 余弦相似度矩阵与向量 Top-K 检索返回 Part J 与全部 105 题下一题: Hybrid Search:权限预过滤与 RRF 倒数排名融合 →