Loss Functions & Objectives: 对比学习中的 InfoNCE 与 Triplet Loss 有何差异。

Core Concept: Triplet 用单个正负样本对构造 margin 排序约束；InfoNCE 用 1 正 N 负的 softmax 分类，负样本越多越接近互信息下界。

数学机理：<strong>Triplet Loss</strong> 直接约束'锚点与正样本的距离'比'锚点与负样本的距离'小至少 margin m：L=max(0, d(q,k_+)−d(q,k_−)+m)。它是<strong>pairwise（成对）</strong> 的、硬 margin 的排序损失；优点是直观、可控，缺点是 (a) 只用了<strong>一个</strong>负样本（信息量少）、(b) 需精心构造三元组（否则大量三元组 loss 为 0、无梯度）、(c) margin 需调。<strong>InfoNCE</strong> 把问题写成 (N+1) 类分类：给定查询 q，正样本 k_+ 是'正确类'，N 个负样本是'错误类'，用 softmax 交叉熵。其分母含所有负样本，故<strong>一次更新就利用了 N 个负样本</strong>。<strong>理论意义</strong>（Oord 等 2018）：最小化 InfoNCE 等价于最大化 q 与 k_+ 的<strong>互信息下界</strong>，且下界随 N 增大而变紧（负样本越多、估计越准）——这解释了为什么 SimCLR 需要 8192 的大 batch（更多负样本）。<strong>温度 τ</strong> 控制分布的锐度：τ 小则分布尖锐、聚焦最难的负样本（类似 hard negative mining）；τ 大则分布平坦、利用更多负样本（更稳定但区分度低）。

深度剖析与工程权衡：① <strong>负样本的来源</strong>——InfoNCE 的负样本可来自 (a) batch 内其他样本（SimCLR，需大 batch/显存）、(b) 记忆库（MoCo 用队列 + 动量编码器，解耦 batch 大小与负样本数）、(c) 同一文档的其他片段（DPR）。这是对比学习的核心工程权衡。② <strong>难负样本的挖掘</strong>——随机负样本太易（loss 低、梯度小）；实践中用'半难负样本'（semi-hard mining）：取距离近但仍是负的样本，兼顾梯度信息量与稳定性。③ <strong>与温度的关系</strong>——CLIP 的 τ 可学习且收敛到约 0.01（很尖锐），说明对比学习偏好聚焦难负样本；τ 过大会使所有负样本被平等对待、区分度不足。④ <strong>在检索/多模态中的使用</strong>——用户项目中的多模态检索即用 InfoNCE 类的对比损失（文本-图像对齐，CLIP 式）；关键工程点是<strong>负样本的构造与去偏</strong>（in-batch 负样本可能含假负样本，需去偏）。⑤ <strong>Triplet 的现代地位</strong>——在度量学习（人脸识别）中仍用，但多用改进版（如 batch-hard triplet mining）；在大规模多模态中已被 InfoNCE 取代。⑥ <strong>面试要点</strong>——被问'对比学习损失'，应能画出 InfoNCE 的 softmax 结构、说明'1 正 N 负'、并解释温度与负样本数的作用；若提到'互信息下界'是明显加分。