Vision-Language Alignment (CLIP): 写出 CLIP 的对称 InfoNCE 损失。

Core Concept: 在同一 batch 内，图像与文本的配对为正、非配对为负；用对称的图文/文图两个方向计算交叉熵。

数学机理：<strong>CLIP 的对称 InfoNCE 损失</strong>——(1) <strong>嵌入</strong>——图像经视觉塔、文本经文本塔编码，各自 <strong>L2 归一化</strong>后得到单位向量；(2) <strong>相似度矩阵</strong>——s_{ij}=⟨z_i^I, z_j^T⟩/τ（余弦相似度除以温度）；(3) <strong>对称损失</strong>——(a) <strong>图像→文本方向</strong>：对每张图 i，把配对的文本 i 视为'正确类别'，其他文本为负样本，做 softmax 交叉熵：L_I=−(1/B)Σ_i log[ e^{s_ii}/Σ_j e^{s_ij} ]；(b) <strong>文本→图像方向</strong>：对称地 L_T=−(1/B)Σ_i log[ e^{s_ii}/Σ_j e^{s_ji} ]；(c) <strong>总损失</strong> = (L_I + L_T)/2。<strong>为什么对称</strong>——因为'图像检索文本'与'文本检索图像'是<strong>两个不同的任务</strong>（两者的负样本分布不同）；对称损失使模型在两个方向都表现好（避免偏向一个方向）。<strong>负样本</strong>——同 batch 内的<strong>非配对样本</strong>（B−1 个）作为负样本（in-batch negatives）；故 <strong>batch 越大、负样本越多、效果越好</strong>（这也是 CLIP 用超大 batch（32k）的原因）。<strong>温度 τ</strong>——控制分布的锐度；CLIP 用<strong>可学习</strong>的温度（初始 0.07，即 logit scale 1/τ≈14.3），训练中自动调整。<strong>为什么用可学习温度</strong>——τ 需要与'相似度的尺度'匹配；固定 τ 可能次优；可学习使模型自适应（实践中收敛到较小的 τ，即较锐的分布，说明'难负样本'重要）。<strong>与其他对比损失的差异</strong>——CLIP 是<strong>跨模态</strong>对比（图文对），SimCLR 是<strong>同模态</strong>对比（同一图的增强视图）；结构相同但正样本的构造不同。<strong>训练数据</strong>——4 亿图文对（网络爬取的 alt-text），<strong>噪声较大</strong>（alt-text 与图不总匹配）；CLIP 的鲁棒性部分来自'大 batch + 大量数据'（噪声被平均掉）。

深度剖析与工程权衡：① <strong>'对称损失'的必要性</strong>——若只用单向（如仅图像→文本），则模型在另一方向可能退化；对称使两个方向都优化（这对'检索'与'零样本分类'都重要）。② <strong>'in-batch negatives'的规模效应</strong>——负样本数 = B−1；B 从 256 增到 32k 时，负样本数增加 125 倍，效果显著提升（但显存与通信成本也增加）。这是'为什么 CLIP 需要大 batch'的量化原因。③ <strong>'可学习温度'的实践</strong>——CLIP 的温度从 0.07 起步并学习；它相当于'自动调节难负样本的权重'（τ 小则聚焦最难的负样本）。④ <strong>'alt-text 噪声'的鲁棒性</strong>——网络图文对噪声大（alt-text 可能描述无关内容）；CLIP 通过 (a) 大规模、(b) 大 batch（噪声样本被稀释）保持鲁棒；也有工作用'更强的过滤'提升数据质量。⑤ <strong>'与 SigLIP 的对比'</strong>——SigLIP 把 softmax 换成 sigmoid（逐对独立），无需全局归一化 → 无需大 batch、无需跨设备同步；这是训练效率的改进。⑥ <strong>面试要点</strong>——被问'CLIP 损失'，应写出<strong>对称 InfoNCE</strong>（两个方向）与'<strong>in-batch negatives</strong>'，并说明'<strong>大 batch 的原因（负样本数）</strong>'与'<strong>可学习温度</strong>'；这是 CLIP 类问题的基本盘。