M6-032M6: 多模态与生成模型VLM 训练与评估Easy
⚡闪卡盲测➔掌握度:
描述 VLM 的典型三阶段训练流程。
🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
📐 核心数学机理公式
⚡ 一句话直击要害答案
① 对齐(只训连接器)→ ② 指令微调(解冻 LLM)→ ③ 可选的对齐/偏好优化(DPO)。
📌 核心要点提炼
- •阶段一:冻结视觉塔与 LLM,只训连接器(图文对齐)
- •阶段二:解冻 LLM,用多模态指令数据微调
- •阶段三:偏好优化(DPO/RLHF)提升有用性与减少幻觉
📐 数学机理与严密推导
数学机理:三阶段流程(以 LLaVA 系列为代表)。(1) 阶段一:特征对齐预训练——冻结视觉塔与 LLM,只训练连接器;数据是图文对(图像 + 描述,如 CC3M 的子集),损失是'根据图像生成描述'的交叉熵。目的——让连接器学会把视觉特征'翻译'到 LLM 能理解的空间(对齐)。数据量——通常较小(数十万到数百万图文对,LLaVA 用 595k);训练步数少(1 epoch 左右)。(2) 阶段二:多模态指令微调——解冻 LLM(视觉塔通常仍冻结),用多模态指令数据(问答、对话、推理、OCR 等)联合训练连接器与 LLM。目的——(a) 让 LLM 学会'按指令使用视觉信息';(b) 提升多样任务能力。数据——质量比数量关键(LLaVA 用 GPT-4 生成的 158k 指令数据;后续工作用更大规模);格式——
(图像, 指令, 回答) 三元组。(3) 阶段三:偏好优化(可选但重要)——用偏好数据(对同一图文输入的两个回答做人类/AI 偏好标注)做 DPO/RLHF。目的——(a) 减少幻觉(VLM 的主要问题);(b) 提升有用性与格式遵循;(c) 对齐人类偏好。代表——LLaVA-RLHF、RLHF-V(用细粒度偏好数据减少幻觉)。其他阶段/变体——(a) 视觉塔的继续训练(阶段 2.5)——高分辨率/新领域适配时解冻视觉塔;(b) 多阶段混合(如 Qwen2-VL 的多阶段:先对齐、再多任务预训练、再指令微调);(c) 持续预训练(用大规模交错图文数据)。关键原则——'先对齐、再联合、最后偏好';且每阶段的数据质量与任务覆盖决定上限。训练细节——(a) 损失掩码(只对回答算损失,与文本 SFT 一致);(b) 学习率(连接器阶段较大、LLM 阶段较小);(c) 序列打包(多模态数据长度差异大,需注意 padding 效率)。🏭 深度剖析与工业落地权衡
深度剖析与工程权衡:① '先对齐再联合'是关键顺序——若一开始联合训练,随机初始化的连接器会产生'无意义视觉 token',破坏 LLM 的语言能力。② '阶段一数据量不必大'——它的目的是'对齐'而非'学知识';故数十万图文对足够(LLaVA 用 595k)。③ '阶段二数据质量决定上限'——LLaVA 用 GPT-4 生成指令数据是关键创新(覆盖多样任务、答案质量高);后续工作(如 ShareGPT4V、Allava)进一步扩大与改进。④ '阶段三对 VLM 尤其重要'——因为 VLM 幻觉(描述图中不存在的内容)是主要问题;偏好优化(尤其'细粒度偏好',如 RLHF-V 用'逐句标注')能显著减少幻觉。⑤ '视觉塔冻结的取舍'——冻结省算力但限制'高分辨率/新领域适配';故需按需解冻(见连接器训练策略题)。⑥ 面试要点——被问'VLM 怎么训练',应给出'三阶段(对齐连接器 → 指令微调 → 偏好优化)+ 每阶段的目的与数据 + 为什么顺序重要',并强调'阶段三对减少 VLM 幻觉重要';这是 VLM 类问题的基本盘。
⚠️ 常见面试陷阱与高频失分点
- ✕跳过阶段一直接联合训练(破坏语言能力)
- ✕忽略阶段三(VLM 幻觉严重)
🎯 面试官连环追问与延伸考察
- ?阶段一的数据量需要多少?
- ?为什么阶段三(偏好优化)对 VLM 重要?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!