Sparse Retrieval (BM25 / TF-IDF): 解释文档长度对检索打分的影响与处理。

Core Concept: 长文档天然命中更多查询词（不公平优势）；用长度归一化（BM25 的 b）、BM25F 的字段加权、或分块处理。

数学机理：<strong>长度偏置的来源</strong>——长文档包含更多词，故 (a) 更容易'碰巧命中'查询词；(b) TF 的绝对值更大；这使长文档在<strong>未归一化</strong>的打分下占优（不公平）。<strong>处理手段</strong>——(1) <strong>长度归一化（BM25 的 b）</strong>——在 TF 部分除以 1−b+b·(|d|/avgdl)：<strong>b=0</strong>（不归一化，长文档占优）、<strong>b=1</strong>（完全归一化，长文档被严格惩罚）、<strong>b=0.75</strong>（常用折中）；<strong>为什么 b<1</strong>——因为'长文档确实可能包含更多相关信息'（如长文章可能更全面地覆盖主题）；完全归一化会过度惩罚。(2) <strong>BM25F（字段加权）</strong>——文档有多个字段（标题/正文/锚文本/URL）；每个字段有自己的长度与权重：score=Σ_f w_f·BM25_f；<strong>优点</strong>——'标题命中'比'正文命中'更重要（且标题通常短，不受长度偏置影响）。(3) <strong>分块（passage-level）检索</strong>——把长文档切成段落（passage），<strong>在段落级别检索</strong>（而非文档级别）：<strong>优点</strong>——(a) 段落的长度相近（长度偏置小）；(b) 更细粒度（能定位到具体段落）；(c) 便于'返回摘要'（见 RAG 的 chunking 题）。(4) <strong>长度分桶/分段打分</strong>——按文档长度分桶，各桶用不同的归一化参数。(5) <strong>TF 的次线性变换</strong>——用 1+log(tf) 或 BM25 的饱和项（本身已缓解'长文档 TF 大'的问题）。(6) <strong>文档级别的先验</strong>——如'权威性/质量分'（PageRank 等）与长度解耦。(7) <strong>学习式</strong>——用 LTR 学'长度与相关性的关系'（而非固定公式）。<strong>为什么'分块'是当前主流</strong>——(a) 现代检索（RAG）倾向'段落级'（因为 LLM 的上下文有限、且需要精确定位）；(b) 段落级天然缓解长度偏置；(c) 便于'多粒度'（段落级检索 + 文档级聚合）。<strong>度量</strong>——(a) <strong>长/短文档的分别评估</strong>（检查是否有长度偏置）；(b) <strong>归一化参数的影响</strong>（b 的消融）；(c) <strong>分块 vs 文档级</strong>的效果对比。<strong>实践建议</strong>——(a) <strong>文档级检索</strong> → 用 b=0.75 + BM25F（字段加权）；(b) <strong>RAG/段落级</strong> → 分块检索（见 chunking）；(c) <strong>混合长度语料</strong> → 考虑长度分桶或 LTR；(d) <strong>评估需分长度桶</strong>（避免平均值掩盖偏置）。

深度剖析与工程权衡：① <strong>'长文档天然占优'是长度偏置的本质</strong>——面试中能指出这一点（而非只说'要归一化'）是深度理解的标志。② <strong>'b<1 的原因'</strong>——长文档确实可能更相关；故完全归一化（b=1）会过度惩罚；这是'统计规律 vs 个别情况'的折中。③ <strong>'字段加权（BM25F）'的实用价值</strong>——标题/锚文本的命中远比正文重要；这是工业检索的标配。④ <strong>'分块检索缓解长度偏置'</strong>——段落的长度相近，故偏置小；这也是 RAG 用 chunking 的另一个理由。⑤ <strong>'评估需分长度桶'</strong>——只看总体指标会掩盖'长文档被系统性压制'的问题；故需分桶评估。⑥ <strong>面试要点</strong>——被问'长度如何影响检索'，应给出'<strong>长文档天然占优 + 长度归一化（b 控强度，0.75 折中）+ BM25F 字段加权 + 分块检索</strong>'与'<strong>评估需分长度桶</strong>'；能解释'b<1 的原因'是深度理解的标志。