Vision-Language Alignment (CLIP): 解释 SigLIP 相对 CLIP 的改进。

Core Concept: 把 softmax 对比损失换成逐对 sigmoid 损失，无需全局归一化；训练更高效、小 batch 可用、质量更好。

数学机理：<strong>SigLIP（Sigmoid Loss for Language-Image Pretraining，Zhai 等 2023）</strong> 的核心改动是把 CLIP 的 <strong>softmax 对比损失</strong>换成<strong>逐对 sigmoid 损失</strong>。<strong>CLIP 的 softmax 损失</strong>——L_I=−(1/B)Σ_i log[ e^{s_ii}/Σ_j e^{s_ij} ]；<strong>关键问题</strong>——分母 Σ_j e^{s_ij} 需要<strong>整个 batch</strong>（甚至跨设备的全局 batch）的相似度；故 (a) <strong>需要全局归一化</strong>（跨设备 all-gather 相似度矩阵，通信开销大）；(b) <strong>依赖大 batch</strong>（负样本数 = B−1）。<strong>SigLIP 的 sigmoid 损失</strong>——把每个 (i,j) 对<strong>独立</strong>地视为二分类问题（匹配 vs 不匹配）：L=−(1/|B|)Σ_{i,j} log σ(z_{ij}·t·l_{ij})，其中 l_{ij}=+1（i=j，匹配）或 −1（i≠j，不匹配）、t 是可学习的温度（bias）。<strong>关键优势</strong>——(a) <strong>无需全局归一化</strong>（每对独立计算，分母不涉及整个 batch）→ <strong>无需跨设备同步</strong>（分布式训练大幅简化）、(b) <strong>小 batch 也能训练</strong>（不依赖 batch 内的负样本数量；负样本来自'所有对'而非'batch 内'）；(c) <strong>质量更好</strong>——论文报告在同等算力下，SigLIP 在 ImageNet 零样本上优于 CLIP（尤其小 batch 时优势明显）。<strong>实现技巧</strong>——SigLIP 对'温度/bias 的初始化'很敏感（因为 sigmoid 损失下'不匹配对'远多于'匹配对'，初始偏置需设为负值（如 −10）以平衡正负样本）；这是它的一个实践要点。<strong>与 CLIP 的关系</strong>——两者都是'图文对比学习'，差异只在<strong>损失函数</strong>（softmax vs sigmoid）；但这一改动带来了训练效率与质量的双重提升，故 SigLIP 逐渐取代 CLIP 成为 VLM 视觉塔的首选。<strong>其他对比损失</strong>——(a) <strong>CLIP</strong>（softmax、对称）；(b) <strong>SigLIP</strong>（sigmoid）；(c) <strong>SigLIP 2</strong>（加入更多训练目标如 captioning、自蒸馏）；(d) <strong>ALIGN</strong>（用噪声数据 + 大 batch）。

深度剖析与工程权衡：① <strong>'无需全局归一化'是 SigLIP 的核心工程价值</strong>——它使分布式训练简化（无需 all-gather 相似度矩阵）、小 batch 可行（研究/小团队友好）；这在工程上意义重大。② <strong>'bias 初始化的坑'</strong>——sigmoid 损失下'不匹配对'占绝大多数（B²−B 个），若偏置初始化为 0，则初期损失被'不匹配对'主导；故需把 bias 初始化为负值（如 −10）。这是实现中最易漏的细节。③ <strong>'小 batch 优势'的实践意义</strong>——CLIP 需要 32k batch 才能达到最佳效果（成本极高）；SigLIP 在 4k~8k batch 下即可接近/超越；这降低了复现门槛。④ <strong>'质量更好的原因'</strong>——sigmoid 损失'逐对'优化，避免了 softmax 的'竞争性'（softmax 下提高某对相似度会压低其他对）；且不匹配对的信号更直接。⑤ <strong>'SigLIP 2 的扩展'</strong>——加入了'局部/全局'对比、captioning 损失、以及自蒸馏，进一步提升（尤其在密集任务与多语言上）。⑥ <strong>面试要点</strong>——被问'SigLIP 改进了什么'，应给出'<strong>softmax → 逐对 sigmoid + 无需全局归一化 → 无跨设备同步、小 batch 可行、质量更好</strong>'，并提到'<strong>bias 初始化为负值</strong>'这一实现细节；这是 CLIP 类问题的深度回答。