Dense Retrieval & Dual-Encoders: 解释稠密检索中的假负样本与去偏。

Core Concept: in-batch negatives 可能含'实际相关'的样本（如另一问题的正确答案）；把它们当负样本会教模型'推远相关文档'。

数学机理：<strong>假负样本（false negatives）的来源</strong>——(1) <strong>in-batch negatives</strong>——同一 batch 内'其他查询的正文档'被当作当前查询的负样本；但<strong>它们可能对当前查询也相关</strong>（如同一问题的多个正确答案、或主题高度重叠的文档）；(2) <strong>未标注的相关性</strong>——训练数据只标了'正样本'，未标注的文档被默认为负，但其中可能有相关的；(3) <strong>多语言/多模态</strong>——同一内容的不同语言/模态版本可能被当负样本。<strong>危害</strong>——(a) <strong>有害梯度</strong>——教模型'把相关文档推远'（与目标相反）；(b) <strong>表示退化</strong>——模型学到'错误的相似度关系'；(c) <strong>训练不稳</strong>——冲突的梯度导致损失难降。<strong>对策</strong>——(1) <strong>去偏损失（debiasing loss）</strong>——(a) 对'高相似度的负样本'<strong>降权</strong>（因为高相似度可能是假负样本）；(b) 显式建模'假负样本的概率'（如用 EM 或软标签）；(c) 有工作用'负样本的相似度阈值'过滤。(2) <strong>相似度阈值过滤</strong>——若某'负样本'与查询的相似度<strong>高于某阈值</strong>，则丢弃（可能是假负样本）；<strong>风险</strong>——可能丢弃'真正难的负样本'。(3) <strong>多模型交叉验证</strong>——多个独立模型都认为'不相关'才用作负样本。(4) <strong>人工/自动标注</strong>——对候选负样本做相关性判断（贵但准）。(5) <strong>更好的数据构造</strong>——(a) 用'同一问题的不同答案'作为正样本（避免互相当负）；(b) 用'明确不相关'的文档（如不同主题）；(c) 用'LLM 生成的反例'（看似相关但错误）。(6) <strong>去重与近重复检测</strong>——避免'近似重复'的文档互相当负样本。(7) <strong>损失函数改进</strong>——(a) <strong>RINCE / 有界损失</strong>（对假负样本更鲁棒）；(b) <strong>软标签 / 蒸馏</strong>（用教师模型的相似度作软目标）。<strong>实证</strong>——(a) 假负样本显著损害检索效果（有研究显示可损失数个点）；(b) 去偏（阈值过滤/去偏损失）能显著恢复；(c) 在'多答案/主题重叠'的数据上问题更严重。<strong>与其他问题的关系</strong>——(a) <strong>与难负样本挖掘的张力</strong>——难负样本'相似但不相关'，但<strong>难以区分</strong>'相似且相关'（假负样本）；故'挖难'与'防假负'需平衡。(b) <strong>与 batch size 的关系</strong>——大 batch 有更多 in-batch negatives（更多真负样本）但也<strong>更多假负样本</strong>。<strong>实践建议</strong>——(a) <strong>数据侧</strong>去重 + 用'同一问题的多答案'作正；(b) <strong>训练侧</strong>用相似度阈值过滤（保守阈值）；(c) <strong>损失侧</strong>用去偏/有界损失；(d) <strong>评估</strong>检查'训练后的相似度分布'（是否把相关文档推远了）；(e) <strong>迭代</strong>挖掘时尤其注意假负样本。<strong>度量</strong>——(a) 召回指标；(b) 假负样本率（抽样人工判断）；(c) 训练损失的稳定性。

深度剖析与工程权衡：① <strong>'假负样本教模型推远相关文档'是有害梯度的本质</strong>——面试中能指出这一点是深度理解的标志。② <strong>'挖难 vs 防假负的张力'</strong>——难负样本'相似但不相关'，但相似度高时<strong>难判断</strong>是否真的不相关；故需平衡（这是实践中的核心难点）。③ <strong>'in-batch negatives 的假负样本风险随 batch 增大'</strong>——大 batch 有更多真负样本但也有更多假负样本；故需去偏。④ <strong>'去偏损失 vs 阈值过滤'</strong>——前者更平滑（降权）、后者更硬（丢弃）；可组合。⑤ <strong>'数据侧构造'最有效</strong>——用'同一问题的多答案'作正样本、避免近重复文档互相当负；这从源头减少假负样本。⑥ <strong>面试要点</strong>——被问'假负样本怎么办'，应给出'<strong>来源（in-batch/未标注）+ 危害（推远相关文档）+ 对策（去偏损失/阈值过滤/多模型验证/数据构造/近重复检测）</strong>'与'<strong>挖难与防假负的张力</strong>'；能指出'大 batch 增加假负样本风险'是深度理解的标志。