Vision Encoders (ViT / ConvNeXt): 解释视觉编码器的选择（CLIP-ViT / SigLIP / DINOv2）与各自特点。

Core Concept: CLIP-ViT 语言对齐、生态成熟；SigLIP 用 sigmoid 损失更高效、质量更好；DINOv2 纯视觉语义强、适合密集任务。

数学机理：<strong>三者的定位与机制</strong>。<strong>(1) CLIP-ViT</strong>——用<strong>对称 InfoNCE</strong>（softmax 对比损失）在 4 亿图文对上训练；<strong>特点</strong>——(a) <strong>语言对齐</strong>（视觉表示与文本语义对齐）；(b) <strong>零样本分类强</strong>（用类名的文本嵌入做分类）；(c) <strong>生态最成熟</strong>（几乎所有 VLM 都有 CLIP-ViT 版本）；(d) 缺点：softmax 需要<strong>全局归一化</strong>（分母含整个 batch 的负样本），故 (i) 需大 batch（更多负样本）、(ii) 需跨设备同步（分布式开销大）。<strong>(2) SigLIP（Sigmoid Loss for Language-Image Pretraining）</strong>——把 softmax 对比损失换成<strong>逐对的 sigmoid 损失</strong>：对每个图文对 (i,j) 独立判断'是否匹配'：L=Σ_{i,j} log(1/(1+exp(z_{ij}·(−t·l_{ij}))))，其中 l_{ij}=+1（匹配）或 −1（不匹配）。<strong>关键优势</strong>——<strong>无需全局归一化</strong>（每对独立计算），故 (a) <strong>无需跨设备同步</strong>（分布式训练更简单）、(b) <strong>小 batch 也能训练</strong>（不依赖 batch 内的负样本数量）、(c) 在同等算力下<strong>质量更好</strong>（SigLIP 论文报告在 ImageNet 零样本上优于 CLIP）。<strong>(3) DINOv2</strong>——<strong>纯视觉自蒸馏</strong>（无语言），在大规模无标注图像上训练；<strong>特点</strong>——(a) <strong>特征语义强</strong>（在分割、深度估计、检索等任务上'免微调'表现优异）；(b) 无需图文对（数据更易获取）；(c) 缺点：<strong>无语言对齐</strong>（不能直接做零样本分类、不能直接与 LLM 对接）。<strong>在 VLM 中的选择</strong>——(a) <strong>主流用 CLIP/SigLIP</strong>（因为需要语言对齐，便于与 LLM 对接）；(b) <strong>SigLIP 逐渐取代 CLIP</strong>（训练更高效、质量更好；Qwen-VL 系用 SigLIP）；(c) <strong>DINOv2 较少直接用于 VLM</strong>（无语言对齐），但在'纯视觉'的 VLM 变体（如某些需要密集预测的模型）或'视觉塔 + 语言塔'双塔设计中会用。<strong>其他选择维度</strong>——(a) <strong>分辨率</strong>（224/336/448/动态）；(b) <strong>模型规模</strong>（ViT-B/L/H/g）；(c) <strong>patch 大小</strong>（14/16）；(d) <strong>许可</strong>（CLIP 与 SigLIP 多为开源）。

深度剖析与工程权衡：① <strong>'SigLIP 取代 CLIP 的趋势'</strong>——因为 sigmoid 损失无需全局归一化，使 (a) 训练更简单（无需跨设备同步）、(b) 小 batch 可行、(c) 质量更好；故新模型多选 SigLIP。② <strong>'DINOv2 的独特价值'</strong>——它证明了'纯视觉自监督也能学到强语义特征'；在'无需语言'的任务（分割、深度、检索）上常优于 CLIP。③ <strong>'VLM 选视觉塔的首要标准是语言对齐'</strong>——因为 VLM 的接口是'与 LLM 对接'；故 CLIP/SigLIP 优先。④ <strong>'patch 大小与分辨率的匹配'</strong>——用 CLIP-ViT-L/14 时需按 14 的倍数设分辨率（336=14×24）；不匹配会导致位置编码插值（可能损害性能）。⑤ <strong>'冻结 vs 微调视觉塔'</strong>——实践中常 (a) <strong>冻结</strong>（省算力、避免灾难性遗忘）、(b) <strong>部分解冻</strong>（顶层解冻以适配高分辨率）、(c) <strong>完全联合训练</strong>（上限高但成本高）；选择取决于数据量与算力。⑥ <strong>面试要点</strong>——被问'视觉塔怎么选'，应给出'<strong>CLIP（语言对齐、生态成熟）vs SigLIP（sigmoid 损失、训练高效、质量更好）vs DINOv2（纯视觉语义、适合密集任务）</strong>'与'<strong>VLM 优先选语言对齐的塔（CLIP/SigLIP）</strong>'；能指出'SigLIP 无需全局归一化故分布式更简单'是深度理解的标志。