Dense Retrieval & Dual-Encoders: 解释 DPR 的 in-batch negatives 训练。

Core Concept: DPR 用两个独立编码器 + in-batch negatives（batch 内其他文档作为负样本）训练，配合 BM25 难负样本。

数学机理：<strong>DPR（Dense Passage Retrieval，Karpukhin 等 2020）</strong> 的做法——(1) <strong>架构</strong>——<strong>两个独立的 BERT 编码器</strong>（查询塔与文档塔<strong>不共享参数</strong>）；<strong>为什么独立</strong>——因为查询与文档的'语言形式'不同（短问题 vs 长段落），独立编码更灵活（实验显示优于共享）。(2) <strong>训练目标</strong>——对每个问题 q，正样本是其相关段落 d⁺，负样本是 (a) <strong>in-batch negatives</strong>（同一 batch 内<strong>其他问题的正段落</strong>）+ (b) <strong>BM25 难负样本</strong>（用 BM25 检索出的、排名靠前但不相关的段落）；损失为 softmax 交叉熵：L=−log[e^{s(q,d⁺)}/(e^{s(q,d⁺)}+Σ_{j≠+}e^{s(q,d_j)})]。(3) <strong>in-batch negatives 的原理</strong>——一个 batch 有 B 个问题，每个有一个正段落；则对问题 i 而言，<strong>其他 B−1 个问题的正段落</strong>都是'不相关'的（可当负样本）；<strong>优点</strong>——(a) <strong>零额外计算</strong>（这些段落本来就要编码）；(b) <strong>负样本数量 ∝ B</strong>（batch 越大越多）；(c) <strong>分布较好</strong>（这些段落都是'真实的相关段落'（对别的问题），故与查询'主题相近但不相关'——比随机负样本更'难'）。(4) <strong>为什么加 BM25 难负样本</strong>——in-batch negatives 虽好，但仍有'随机性'（可能不含'与查询高度相似但不相关'的段落）；故显式用 BM25 检索 top-k、人工/自动判定'不相关'的作为难负样本；<strong>效果</strong>——论文报告'加 1 个 BM25 难负样本'显著提升。<strong>训练技巧</strong>——(a) <strong>大 batch</strong>（更多 in-batch negatives）；(b) <strong>温度</strong>（控制分布锐度）；(c) <strong>梯度缓存</strong>（GradCache，用'表示'而非'梯度'实现大 batch）。<strong>局限</strong>——(a) <strong>假负样本</strong>——in-batch negatives 中可能含'实际相关'的段落（见稠密检索的假负样本题）；(b) <strong>batch 大小受限</strong>（显存）；(c) 需<strong>领域适配</strong>（DPR 在领域外表现下降，故有领域微调）。<strong>后续改进</strong>——(a) <strong>更强编码器</strong>（E5/BGE/GTR）；(b) <strong>更多难负样本</strong>（迭代挖掘）；(c) <strong>蒸馏</strong>（从 cross-encoder 蒸馏）；(d) <strong>GradCache / 大 batch 技巧</strong>。<strong>实证</strong>——DPR 在 Natural Questions 等上显著优于 BM25（Top-20 准确率提升约 9~19 点）；但后续更强模型（如 E5、BGE）进一步提升了效果。<strong>实践</strong>——(a) <strong>召回</strong>用双塔（DPR 系或更强的嵌入模型）；(b) <strong>batch 尽量大</strong>（配梯度缓存）；(c) <strong>加难负样本</strong>（BM25 或迭代挖掘）；(d) <strong>领域适配</strong>（有数据时微调）。

深度剖析与工程权衡：① <strong>'in-batch negatives 零额外成本'是它的优雅之处</strong>——负样本来自'本来就要编码的段落'；面试中能指出这一点是深度理解的标志。② <strong>'为什么用 BM25 挖难负样本'</strong>——因为 BM25 的'高排名但不相关'正是'难负样本'（模型容易混淆）；这比随机负样本更有价值。③ <strong>'两个独立编码器优于共享'</strong>——因为查询与文档的语言形式不同；这是 DPR 的实验结论（反直觉但有效）。④ <strong>'假负样本'是 DPR 的已知问题</strong>——in-batch negatives 可能含相关段落；故有去偏方法。⑤ <strong>'领域适配的必要性'</strong>——通用嵌入在领域外（医疗/法律/代码）表现差；故需领域微调（见稠密检索的领域适配题）。⑥ <strong>面试要点</strong>——被问'DPR 怎么训'，应给出'<strong>两个独立编码器 + in-batch negatives + BM25 难负样本</strong>'与'<strong>in-batch 零成本、BM25 难负样本更有效</strong>'；能指出'假负样本'是深度理解的标志。