M6-004M6: 多模态与生成模型视觉编码器Medium
⚡闪卡盲测➔掌握度:
解释自监督视觉预训练的主要范式。
🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
📐 核心数学机理公式
\text{contrastive}:\ \mathcal{L}_{\text{InfoNCE};\quad \text{masked}:\ \text{reconstruct};\quad \text{distill}:\ \text{teacher-student}
⚡ 一句话直击要害答案
对比式(SimCLR/MoCo/CLIP)、掩码重建式(MAE/BEiT)、自蒸馏式(DINO/DINOv2)、以及多模态对齐式。
📌 核心要点提炼
- •对比式:拉近正样本、推远负样本(需负样本或动量队列)
- •掩码重建式:MAE 掩 75% patch 并重建像素(高效)
- •自蒸馏式:DINO 用 teacher-student + 无负样本
📐 数学机理与严密推导
数学机理:四类范式。(1) 对比式(contrastive)——用数据增强产生正样本对(同一图的两个视图),拉近正样本、推远负样本:L=−log[ e^{s(z_i,z_j)/τ} / Σ_k e^{s(z_i,z_k)/τ} ]。代表:(a) SimCLR(大 batch 内负样本);(b) MoCo(动量编码器 + 队列,解耦 batch 与负样本数);(c) CLIP(图文对作为正样本,跨模态)。特点——需要负样本(或队列)、对增强策略敏感、依赖大 batch。(2) 掩码重建式(masked image modeling)——随机掩码部分 patch,让模型重建被掩部分。代表:MAE(掩 75% patch,只对可见 patch 编码、用轻量解码器重建像素)、BEiT(重建离散 token,用 dVAE 的码本)。MAE 为什么掩 75%——(a) 图像冗余度高(相邻像素高度相关),若掩码比例低(如 15%),任务太简单(插值即可完成),学不到语义;(b) 高掩码比例使任务困难(需理解全局结构);(c) 只编码可见 patch(25%)使训练高效(计算量降 4 倍)。特点——无需负样本、训练高效、学到的是'低层+中层'特征。(3) 自蒸馏式(self-distillation)——teacher-student 结构:student 预测 teacher 的输出(teacher 是 student 的 EMA),配合'多裁剪'(不同尺度视图)与'避免坍缩'的机制。代表:DINO(用 centering + sharpening 避免坍缩)、DINOv2(大规模 + 精心数据 + 蒸馏)。特点——无负样本、学到的特征语义性强(DINOv2 特征在分割/深度估计等下游任务上'免微调'就很好)。(4) 多模态对齐式——用图文对做对比学习(CLIP/SigLIP),学到'语言对齐的视觉表示'(见下一主题)。对比总结——(a) MAE:重建式、高效、适合'需要低层细节'的任务(检测、分割);(b) DINOv2:自蒸馏、语义强、适合'通用视觉特征'(检索、分割、深度);(c) CLIP:语言对齐、适合'零样本分类与跨模态检索';(d) 实践中常组合(如用 CLIP 或 DINOv2 作为 VLM 的视觉编码器)。选择依据——(a) VLM 的视觉塔常用 CLIP/SigLIP(因需与语言对齐);(b) 通用视觉任务(分割/深度/检索)常用 DINOv2;(c) 检测/分割的骨干常用 MAE 预训练。
🏭 深度剖析与工业落地权衡
深度剖析与工程权衡:① 'MAE 掩 75%'的直觉很关键——图像的冗余度远高于文本(掩 15% 文本已很难,掩 15% 图像太简单);故图像掩码比例需高得多。② 'CLIP vs DINOv2 的定位'——CLIP 的表示语言对齐(适合跨模态、零样本),DINOv2 的表示纯视觉语义(适合密集预测、检索);VLM 通常用 CLIP/SigLIP(因需与 LLM 对接),但 DINOv2 在'无需语言'的视觉任务上更强。③ '自监督降低了对标注数据的依赖'——这是 ViT '数据饥渴'的主要解法(可用海量无标注图像预训练)。④ '增强策略的影响'——对比式方法对增强高度敏感(增强定义了'什么是不变的');MAE/DINO 对增强的依赖较小(这是它们的优势之一)。⑤ '与 VLM 训练的关系'——VLM 的视觉塔通常直接用现成的 CLIP/SigLIP(不再自监督预训练);故 VLM 训练的'视觉侧'主要是'如何对齐与压缩'(见连接器与视觉 token 题)。⑥ 面试要点——被问'自监督视觉预训练有哪些范式',应给出'对比式(SimCLR/MoCo/CLIP)+ 掩码重建式(MAE/BEiT)+ 自蒸馏式(DINO/DINOv2)+ 多模态对齐式'与'MAE 掩 75% 的原因(图像冗余度高)';能指出'CLIP 语言对齐 vs DINOv2 纯视觉语义'的定位差异是深度理解的标志。
⚠️ 常见面试陷阱与高频失分点
- ✕用低掩码比例做 MAE(任务太简单)
- ✕把 CLIP 与 DINOv2 的定位混为一谈
🎯 面试官连环追问与延伸考察
- ?MAE 为什么掩码比例这么高(75%)?
- ?DINOv2 的特征为什么适合做下游任务?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!