M7-004M7: 检索、排序与推荐系统稀疏检索Medium
⚡闪卡盲测➔掌握度:
解释 SPLADE 等学习式稀疏检索的思路
🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
📐 核心数学机理公式
⚡ 一句话直击要害答案
用 BERT + MLM 头 + ReLU + 稀疏正则,让每个词扩展为'词表上的稀疏权重',兼具语义泛化与倒排索引效率。
📌 核心要点提炼
- •用 BERT 的 MLM 头把每个词映射为'词表上的权重向量'
- •ReLU + max 池化 → 稀疏(只有少数词非零)
- •用 ℓ1 正则鼓励稀疏;最终用倒排索引存储(保持效率)
📐 数学机理与严密推导
数学机理:学习式稀疏检索(learned sparse retrieval) 的思路——把'查询/文档'表示为词表上的稀疏权重向量(维度 = 词表大小 V,大部分为 0),但权重由模型学习(而非 TF-IDF 的统计量)。SPLADE(Formal 等 2021) 的做法——(1) MLM 头——用 BERT(或类似)的 MLM(掩码语言模型)头把每个输入 token 映射为词表上的 logits(V 维);(2) ReLU + log(1+·)——把 logits 通过 ReLU(保证非负)与 log(1+x)(压缩大值);(3) max 池化——对同一词表项在多个输入位置取 max(因为不同位置可能'激活'同一个词表项):w_t=max_{i∈input} log(1+ReLU(w_it));(4) 稀疏正则——在训练时加 ℓ1 正则(或 FLOPS 正则)鼓励稀疏(使大部分词表项为 0);(5) 倒排索引——因为最终是稀疏向量,故可用倒排索引存储与检索(保持效率)。为什么能'扩展'词——因为 MLM 头会让'相关词'也被激活(如输入'汽车'时,'轿车'、'车辆'的词表项也可能获得非零权重);这就是'语义扩展'(类似手工的同义词扩展,但由模型学习)。与稠密检索的对比——(a) 表示——稀疏(V 维,大部分 0)vs 稠密(d 维,全非零,如 768);(b) 存储——稀疏可用倒排索引(省空间、可精确匹配)vs 稠密需向量索引(HNSW/IVF);(c) 检索——稀疏用倒排(快、可解释:能看出'匹配了哪些词')vs 稠密用 ANN;(d) 语义泛化——稀疏的'扩展'有限(只在词表内)vs 稠密可'任意语义';(e) 可解释性——稀疏高(能看到激活的词)vs 稠密低。优势——(a) 兼具语义与效率(有扩展 + 倒排索引);(b) 可解释(能看出'为什么匹配');(c) 与 BM25 互补(可混合)。局限——(a) 扩展受词表限制(无法表达'词表外的语义');(b) 索引膨胀(每个文档的非零项比 BM25 多,索引更大);(c) 训练成本(需大规模训练)。其他方法——(a) uniCOIL / DeepImpact(更简单的学习式稀疏:只用 IDF 式权重 + 学习式扩展);(b) SPLADE-v2/v3(改进的稀疏与效率);(c) 稀疏 + 稠密的混合(两路召回融合)。实证——(a) SPLADE 在 MS MARCO 等基准上显著优于 BM25(且接近稠密检索);(b) 在'零样本/领域外'上常优于稠密检索(因为它保留了'精确匹配'的能力)。实践——(a) 需要可解释/精确匹配 → SPLADE 系;(b) 纯语义 → 稠密;(c) 混合 → 两者融合(见混合检索题)。
🏭 深度剖析与工业落地权衡
深度剖析与工程权衡:① '用 MLM 头做稀疏扩展'是 SPLADE 的核心创新——它把'语义扩展'引入稀疏检索;面试中能解释'为什么能扩展'是深度理解的标志。② '保持倒排索引'是它的工程价值——稀疏表示可用成熟的倒排索引(无需新的向量索引基础设施);这降低了落地成本。③ '可解释性'是稀疏的独特优势——能看到'哪些词被激活'(包括扩展词);这对调试与合规很重要。④ '索引膨胀'是代价——SPLADE 的每文档非零项远多于 BM25(可能 100+),故索引更大、检索更慢。⑤ '零样本上的优势'——SPLADE 保留了精确匹配能力,故在'领域外/长尾查询'上常优于稠密检索。⑥ 面试要点——被问'学习式稀疏检索',应给出'MLM 头 → 词表权重 → ReLU+max 池化 → ℓ1 稀疏 → 倒排索引'与'兼具语义扩展与倒排效率、可解释';能指出'零样本上常优于稠密'是深度理解的标志。
⚠️ 常见面试陷阱与高频失分点
- ✕以为学习式稀疏无法做语义扩展(MLM 头会激活相关词)
- ✕忽略索引膨胀的代价
🎯 面试官连环追问与延伸考察
- ?SPLADE 为什么能'扩展'词?
- ?学习式稀疏与稠密检索的差异?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!