M6-033M6: 多模态与生成模型VLM 训练与评估Easy
⚡闪卡盲测➔掌握度:

列举 VLM 的主要评估基准与能力维度。

🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
下一题: M6-034 →
📐 核心数学机理公式
MMMU,MMBench,MMVP,DocVQA,ChartQA,RealWorldQA,MathVista\text{MMMU},\text{MMBench},\text{MMVP},\text{DocVQA},\text{ChartQA},\text{RealWorldQA},\text{MathVista}
⚡ 一句话直击要害答案
维度:识别/OCR/文档/图表/空间/推理/知识/多图/视频;基准:MMMU/MMBench/MMVP/DocVQA/ChartQA/RealWorldQA。

📌 核心要点提炼

  • •
    识别与 OCR:DocVQA、OCRBench、TextVQA
  • •
    推理与知识:MMMU(学科推理)、MathVista(数学)、ScienceQA
  • •
    细粒度与鲁棒:MMVP(CLIP 盲对)、RealWorldQA、POPE(幻觉)

📐 数学机理与严密推导

数学机理:能力维度与对应基准。(1) 通用视觉识别——(a) MMBench(多维度多选题,含能力细分);(b) SEED-Bench;(c) MME(感知 + 认知)。(2) OCR 与文档——(a) DocVQA(文档问答);(b) TextVQA(自然场景文字);(c) OCRBench(OCR 综合);(d) InfoVQA(信息图)。(3) 图表理解——ChartQA、PlotQA(读图表数值)。(4) 学科推理与知识——(a) MMMU(大学级学科题,含图表);(b) ScienceQA;(c) MathVista / MathVerse(数学推理)。(5) 细粒度与鲁棒性——(a) MMVP(CLIP 盲对)——由'CLIP 看不出但人类明显'的图像对构成,测'真正的视觉理解'(而非依赖语言先验);(b) RealWorldQA(真实场景空间理解);(c) POPE(幻觉评估,用'是否存在某物体'的问答测幻觉)。(6) 多图与交错——(a) NLVR2(两张图的关系);(b) 多图 QA;(c) Interleaved 基准(如 MMMU 中的多图题)。(7) 视频——(a) Video-MME;(b) MVBench;(c) TempCompass(时序理解)。(8) Agent/工具使用——(a) OSWorld / WebArena(GUI 操作);(b) V*Bench(高分辨率细节搜索)。为什么单一基准不够——(a) 能力不均衡——模型可能 OCR 强但推理弱(或反之);(b) 捷径(shortcut)——模型可能靠'语言先验'答对(不看图也能猜),如'图中有几只动物'→猜'2';故需 MMVP 这类'必须看图'的基准;(c) 污染——公开基准易被污染(见 M5 的污染题);(d) 与真实场景脱节——基准是选择题,实际是开放任务。评估实践——(a) 多维度报告(不只一个总分);(b) 包含'反捷径'基准(MMVP、POPE);(c) 人工评估(开放式任务的黄金标准);(d) LLM-as-judge(对开放式回答打分,需校准);(e) 报告评估配置(prompt、few-shot、分辨率)——否则不可比。关键陷阱——(a) '不看图也能答对'——需检查'仅给文本'的基线(若性能相当,说明模型没用到视觉);(b) 选择题的猜测——随机猜测有 25% 基线;(c) 答案格式敏感——解析失败会低估。

🏭 深度剖析与工业落地权衡

深度剖析与工程权衡:① 'MMVP(CLIP 盲对)的价值'——它专门测'CLIP 看不出但人类明显'的差异(如'图中的狗朝向哪边'),故能揭示'模型是否真的在'看'图';这是评估 VLM 的关键'反捷径'工具。② '仅文本基线'是必备对照——若不对比'不看图的性能',无法判断视觉是否真的被使用;这是评估纪律。③ '能力不均衡'是常态——模型可能 OCR 强、推理弱;故需分维度报告,而非只看总分。④ '污染风险更高'——VLM 基准(MMMU 等)题目少、公开度高,且训练数据(网络图文)可能含基准题目;故需污染检测。⑤ '开放式任务需人工/LLM-judge'——选择题基准无法测'描述质量/对话能力';故需 (a) 人工评估(可靠但贵)、(b) LLM-judge(可扩展但需校准)。⑥ 面试要点——被问'VLM 怎么评估',应给出'能力维度(识别/OCR/文档/图表/推理/细粒度/多图/视频)+ 对应基准 + 反捷径基准(MMVP/POPE)+ 仅文本基线对照';能指出'必须对比不看图的基线'是深度理解的标志。
⚠️ 常见面试陷阱与高频失分点
  • ✕
    只看单一基准总分
  • ✕
    不对比'仅文本'基线(无法确认视觉被使用)
🎯 面试官连环追问与延伸考察
  • ?
    为什么单一基准不够?
  • ?
    MMVP 测的是什么?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
📚

关联知识库专题与交互式导图

← 上一题M6-032: 描述 VLM 的典型三阶段训练流程。📋 返回题库下一题 →M6-034: 解释 VLM 幻觉的类型与缓解。