Vision-Language Alignment (CLIP): 解释对比学习中的负样本与 batch size 的关系。

Core Concept: in-batch negatives 数 = B−1；batch 越大负样本越多、效果越好，但成本与通信也越高。

数学机理：<strong>in-batch negatives 的机制</strong>——对比学习的 InfoNCE 损失中，负样本是'同 batch 内与正样本不配对的样本'；故<strong>负样本数 = B−1</strong>。<strong>为什么负样本越多越好</strong>——(a) <strong>任务更难</strong>——更多负样本意味着模型需在更'拥挤'的空间中区分正样本（更精细的表示）；(b) <strong>信息论视角</strong>——InfoNCE 是互信息的下界，且下界随负样本数增大而变紧（见 M4 的对比学习题）；(c) <strong>实证</strong>——SimCLR/CLIP 显示性能随 batch size 单调提升（直到饱和）。<strong>代价</strong>——(a) <strong>显存</strong>——相似度矩阵 B×B（对 B=32k 是 10⁹ 元素）；(b) <strong>通信</strong>——分布式训练需 all-gather 所有设备的嵌入（通信量 ∝B·d），且相似度计算需全局（若用 softmax）；(c) <strong>计算</strong>——O(B²·d)。<strong>解耦方案</strong>：(1) <strong>MoCo 的队列（queue）</strong>——维护一个<strong>负样本队列</strong>（如 65536 个历史嵌入），每步用队列中的样本作负样本、并把当前 batch 的嵌入入队；这样<strong>负样本数与 batch size 解耦</strong>（小 batch 也能有大量负样本）；代价是'历史嵌入'与'当前编码器'不一致（故用<strong>动量编码器</strong>（EMA）生成队列嵌入以保持一致性）。(2) <strong>SigLIP 的 sigmoid 损失</strong>——逐对独立，负样本来自'所有对'（而非仅 batch 内），故不依赖大 batch。(3) <strong>记忆库（memory bank）</strong>——类似队列但存储更多（代价更大）。(4) <strong>难负样本挖掘</strong>——主动选择'与正样本相似但不相配'的样本（提升效率，但需额外计算）。<strong>注意</strong>——负样本<strong>不是越多越好</strong>：(a) 太多'简单负样本'（与正样本毫不相关）提供的信号弱；(b) <strong>假负样本</strong>（实际相关但被当负样本）会损害训练；(c) 故'难负样本'比'更多负样本'更有效（有研究显示'半难负样本'最优）。<strong>与 CLIP 的关系</strong>——CLIP 用 32k batch（负样本 32k−1）；这是它效果好的关键之一，也是它的训练成本高的原因。

深度剖析与工程权衡：① <strong>'负样本数 = B−1'是理解 batch size 作用的钥匙</strong>——它解释了'为什么 CLIP 需要大 batch'（不是'更多数据'，而是'更多负样本'）。② <strong>'MoCo 解耦'的工程价值</strong>——队列 + 动量编码器使小 batch 也能有大量负样本（降低显存门槛）；这是'用存储换 batch'的思路。③ <strong>'SigLIP 的替代路径'</strong>——sigmoid 损失从根本上避免了对大 batch 的依赖（因为不需要全局归一化）；这是更优雅的解法（故被广泛采用）。④ <strong>'假负样本'的风险</strong>——在多模态场景（同一商品的多个视角、同一事件的多个图），'看起来相似但实际相关'的样本被当负样本会损害训练；故需 (a) 数据去重、(b) 去偏（如 CLIP 的'假负样本去偏'研究）。⑤ <strong>'难负样本 vs 更多负样本'</strong>——研究表明'半难负样本'（模型认为相似但实际不配）最有效；故有'难负样本挖掘'的研究方向（如 ALBEF、BLIP 用动量蒸馏与难负样本）。⑥ <strong>面试要点</strong>——被问'负样本与 batch size'，应给出'<strong>in-batch negatives = B−1 + 大 batch 的原因（更难的区分任务 + 互信息下界更紧）</strong>'与'<strong>MoCo 队列 / SigLIP sigmoid 两种解耦方案</strong>'；能指出'假负样本与难负样本的重要性'是深度理解的标志。