Sparse Retrieval (BM25 / TF-IDF): 解释稀疏检索的局限与改进方向。

Core Concept: 局限：无同义词/语义泛化、词汇失配（vocabulary mismatch）、无法处理拼写变体；改进：查询扩展、学习式稀疏、混合检索。

数学机理：<strong>稀疏检索的核心局限</strong>——(1) <strong>词汇失配（vocabulary mismatch）</strong>——最根本的问题：查询与文档<strong>用不同的词表达同一含义</strong>（'如何减肥' vs '体重管理方法'）；稀疏检索要求<strong>词面重叠</strong>，故会<strong>漏召回</strong>。(2) <strong>无语义泛化</strong>——无法处理同义词、上下位词、释义（'汽车' vs '轿车' vs '车辆'）。(3) <strong>无词序/语法理解</strong>——词袋模型忽略词序（'猫追狗' 与 '狗追猫' 打分相同）；虽有位置信息可做短语查询，但仍不理解语义。(4) <strong>拼写变体/错误</strong>——拼写错误、缩写、变体（'color' vs 'colour'）需专门处理。(5) <strong>长查询困难</strong>——查询越长，AND 的约束越强（召回越低）；故需 OR + 打分。(6) <strong>IDF 的偏置</strong>——罕见词主导打分，可能导致'被一个罕见词带偏'。<strong>改进方向</strong>——(1) <strong>查询扩展（query expansion）</strong>——(a) <strong>基于词典/同义词表</strong>（手工或从知识图谱）；(b) <strong>基于伪相关反馈（PRF / RM3）</strong>——先用原查询检索、假设 top-k 相关、从中提取扩展词再检索；<strong>优点</strong>——无需外部资源；<strong>缺点</strong>——若首次检索差则扩展错误（'查询漂移'）。(2) <strong>学习式稀疏（SPLADE 等）</strong>——用模型学习'扩展'（见 SPLADE 题）。(3) <strong>混合检索（hybrid）</strong>——与稠密检索融合（稀疏补精确匹配、稠密补语义）；这是<strong>最实用的方案</strong>（见混合检索题）。(4) <strong>重排（reranking）</strong>——用 cross-encoder 或 LLM 对候选精排（弥补召回的语义不足）。(5) <strong>词干化/词形还原</strong>——处理词形变化（'running' vs 'run'）。(6) <strong>拼写纠正/模糊匹配</strong>——处理拼写错误。<strong>为什么稀疏仍不可替代</strong>——(a) <strong>精确匹配强</strong>（术语/编号/专有名词：'ERR_403'、'RTX 4090'）；(b) <strong>零样本</strong>（无需训练、任意领域可用）；(c) <strong>可解释、快、便宜</strong>；(d) <strong>长尾查询</strong>（稀疏在长尾上常优于稠密）。<strong>实践</strong>——(a) <strong>默认用混合检索</strong>（稀疏 + 稠密）；(b) <strong>查询扩展可选</strong>（需评估是否引入噪声）；(c) <strong>重排弥补召回不足</strong>；(d) <strong>长尾/术语查询依赖稀疏</strong>。<strong>度量</strong>——(a) <strong>召回率</strong>（扩展是否提升召回）；(b) <strong>精度</strong>（是否引入噪声）；(c) <strong>端到端 NDCG</strong>；(d) <strong>查询漂移率</strong>（PRF 的风险）。

深度剖析与工程权衡：① <strong>'词汇失配是最核心的局限'</strong>——它解释了'为什么需要稠密检索'；面试中能指出这一点是深度理解的标志。② <strong>'稀疏不可替代的原因'</strong>——精确匹配、零样本、可解释、长尾优势；故混合检索是正解（而非'用稠密替代稀疏'）。③ <strong>'PRF 的查询漂移风险'</strong>——若首次检索差，扩展会'越走越偏'；故需谨慎（或用更稳的学习式扩展）。④ <strong>'查询扩展的收益不稳定'</strong>——在某些查询上提升、某些上损害；故需按查询类型选择（如只对'短查询/歧义查询'扩展）。⑤ <strong>'长尾查询依赖稀疏'</strong>——因为稠密嵌入在长尾（罕见术语）上训练不足；这是稀疏的独特价值。⑥ <strong>面试要点</strong>——被问'稀疏检索有什么局限'，应给出'<strong>词汇失配（核心）+ 无语义泛化 + 无词序 + 拼写变体 + 长查询困难</strong>'与'<strong>改进（查询扩展 / 学习式稀疏 / 混合检索 / 重排）</strong>'；能指出'稀疏在精确匹配与长尾上不可替代'是深度理解的标志。