M6-038M6: 多模态与生成模型VLM 训练与评估Hard
⚡闪卡盲测➔掌握度:
解释 VLM 指令微调数据的构造与质量控制。
🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
📐 核心数学机理公式
⚡ 一句话直击要害答案
用强模型(GPT-4)生成多模态指令数据(LLaVA-Instruct 范式);需覆盖多样任务、保证答案准确、并做质量过滤。
📌 核心要点提炼
- •做法:把图像转成'文本表示'(caption + 框)喂给 GPT-4,让它生成问答
- •覆盖任务:描述、问答、推理、OCR、拒绝、多轮
- •质量:答案准确性、多样性、难度分布、幻觉控制
📐 数学机理与严密推导
数学机理:LLaVA-Instruct 的构造范式——核心难题是'GPT-4 不能直接看图'(当时);解法是把图像转成文本表示:(1) 提取图像的文本描述——用现成的检测/描述模型得到 (a) caption(整体描述)、(b) 物体列表 + 边界框(如'猫 (0.2,0.3,0.5,0.6)');(2) 喂给纯文本 GPT-4——把'图像文本表示'作为上下文,让 GPT-4 生成多轮对话/问答(如'图中有几只猫?'→'2 只');(3) 得到 (图像, 指令, 回答) 三元组——图像用真实图像,指令与回答来自 GPT-4。任务覆盖——(a) 对话(多轮问答);(b) 详细描述(要求长描述);(c) 复杂推理(需要多步思考的问题);(d) OCR/文字;(e) 拒绝(对不明确的问题说'图中未显示')。规模——LLaVA 用 158k(对话 58k + 详细描述 23k + 复杂推理 77k);后续工作(Allava、ShareGPT4V)扩展到百万级。为什么用 GPT-4 而非人工——(a) 成本(人工标注多模态指令极贵);(b) 规模(可生成大量数据);(c) 质量(GPT-4 的回答质量高、格式一致)。风险与质量控制——(1) 幻觉继承——GPT-4 基于'图像文本表示'生成,若表示不完整/错误,则答案可能有幻觉(它'看不到'图,只能靠文本表示);故 LLaVA 的数据在细节上可能不准(这也是 VLM 幻觉的来源之一)。(2) 同质化——单一模型的风格被复制(见 M5 的合成数据风险)。(3) 分布偏差——覆盖的任务类型有限。(4) 污染——生成的题目可能含基准内容。质量过滤手段——(a) 用真实图像的视觉信息校验(如用 VLM 检查答案是否被图支持);(b) 多样性控制(多模板、多任务类型、多难度);(c) 去重;(d) 人工抽检;(e) 用更强的多模态模型生成(如后续用 GPT-4V 直接生成,质量更高)。改进方向——(a) 用多模态强模型生成(GPT-4V/Gemini 直接看图生成数据,避免'文本表示'的信息损失);(b) 细粒度偏好数据(如 RLHF-V 的逐句标注,用于减少幻觉);(c) 任务特化数据(OCR/图表/文档的专门数据);(d) 合成图像的配对数据(程序生成'图 + 精确标注',质量可控)。评估——(a) 数据质量抽检(人工判断答案是否正确/被图支持);(b) 多样性度量(任务类型/长度/难度的分布);(c) 训练后的任务指标(数据质量最终由模型表现验证)。
🏭 深度剖析与工业落地权衡
深度剖析与工程权衡:① '把图像转成文本表示'是 LLaVA 的巧妙之处——它绕过了'GPT-4 不能看图'的限制;但也引入了信息损失(细节丢失 → 数据中的细节可能不准 → VLM 幻觉)。② '数据质量决定 VLM 上限'——尤其指令数据;故后续工作的重点从'扩大规模'转向'提升质量'(用更强模型生成 + 精细过滤)。③ '幻觉继承'是主要风险——若教师模型基于不完整的图像表示生成,其错误会被学生继承;故需 (a) 更完整的图像表示、(b) 用多模态教师、(c) 视觉校验。④ '细粒度偏好数据'的价值——RLHF-V 用 1.4k 条逐句标注的偏好数据显著减少幻觉;说明'精准的小数据'在减少幻觉上比'海量指令数据'更有效。⑤ '任务覆盖'的重要性——若数据缺少 OCR/图表任务,模型在这些任务上就差;故需显式覆盖关键能力(这也是'能力不均衡'的来源)。⑥ 面试要点——被问'VLM 指令数据怎么造',应给出'图像→文本表示→GPT-4 生成(LLaVA 范式)+ 任务覆盖(对话/描述/推理/OCR/拒绝)+ 质量控制(视觉校验/多样性/去重/抽检)'与'幻觉继承是主要风险';能指出'细粒度偏好数据对小幻觉高效'是深度理解的标志。
⚠️ 常见面试陷阱与高频失分点
- ✕用单一模型生成全部数据(同质化)
- ✕不校验答案是否被图支持(继承幻觉)
🎯 面试官连环追问与延伸考察
- ?为什么用 GPT-4 生成而不人工标注?
- ?生成数据的主要风险是什么?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!