Sparse Retrieval (BM25 / TF-IDF): 写出 BM25 公式，并解释 k1、b 的作用。

Core Concept: BM25 用饱和的 TF 与文档长度归一化加权 IDF；k1 控制 TF 饱和速度，b 控制长度归一化强度。

数学机理：<strong>BM25 的三部分</strong>。(1) <strong>IDF（逆文档频率）</strong>——IDF(t)=log((N−df(t)+0.5)/(df(t)+0.5)+1)；<strong>含义</strong>——'在多少文档中出现'；罕见词（df 小）的 IDF 大（区分度高），常见词（如 'the'）的 IDF 接近 0（无区分度）。(2) <strong>TF 部分（词频）</strong>——f(t,d)·(k₁+1)/(f(t,d)+k₁·(…))；<strong>关键性质：饱和</strong>——当 f(t,d) 增大时，该项<strong>趋于上界 (k₁+1)</strong>（而非线性增长）；<strong>为什么饱和</strong>——(a) 一个词出现 1 次与 3 次的区分度差异大，但 100 次与 103 次几乎无差异（边际收益递减）；(b) 线性 TF 会让'堆砌关键词'的文档获得不公平的高分（这也是'关键词堆砌'作弊的动机）；<strong>k₁ 的作用</strong>——控制饱和速度：k₁ 小（如 1.2）则快速饱和（少数几次出现即达上界）；k₁ 大（如 2.0）则更接近线性（需更多次出现才饱和）；常用 k₁=1.2~2.0。(3) <strong>长度归一化</strong>——1−b+b·(|d|/avgdl)；<strong>作用</strong>——长文档天然包含更多词（更容易命中查询词），故需惩罚；<strong>b 的作用</strong>——b∈[0,1]：b=0 完全不归一化（长文档占优）、b=1 完全按长度归一化、常用 b=0.75（部分归一化，因为'长文档确实可能包含更多信息'）。<strong>整体直觉</strong>——BM25 是对'TF-IDF'的改进：把 TF 从'线性'改为'饱和'、把'长度归一化'从'除法'改为'可调的形式'；这使得它在'关键词检索'上长期是强基线。<strong>为什么至今仍重要</strong>——(a) 精确匹配强（术语/编号/专有名词）；(b) 无需训练、可解释、快；(c) 与稠密检索互补（见混合检索）。<strong>其他</strong>——(a) <strong>BM25F</strong>（多字段：标题/正文/锚文本分别算 TF 再加权）；(b) <strong>BM25+</strong>（修正'长文档的 TF 饱和下限'）；(c) <strong>学习式权重</strong>（用 LTR 学各部分的权重）。

深度剖析与工程权衡：① <strong>'TF 饱和'是 BM25 相比 TF-IDF 的核心改进</strong>——它防止'关键词堆砌'与'长文档占优'；面试中能解释'为什么饱和'是深度理解的标志。② <strong>'b=0.75'的实践含义</strong>——完全归一化（b=1）会过度惩罚长文档（而长文档可能确实更相关）；故用 0.75 折中。③ <strong>'k1 与 b 需按语料调'</strong>——不同语料（短文本 vs 长文档）的最优值不同；常用 (1.2, 0.75) 作为起点。④ <strong>'IDF 的重要性'</strong>——它使'罕见词'主导打分；这是 BM25 在'专有名词/术语'查询上强的原因。⑤ <strong>'BM25 的局限'</strong>——无同义词/语义泛化（'汽车'查不到'轿车'）；故需稠密检索互补。⑥ <strong>面试要点</strong>——被问'BM25 公式'，应写出<strong>三部分（IDF/TF 饱和/长度归一化）</strong>并解释'<strong>k1 控饱和速度、b 控长度惩罚</strong>'；能指出'饱和是为了防关键词堆砌'是深度理解的标志。