VLM Training & Evaluation: 解释 VLM 评估基准（MMMU / MMBench / MMVP）的特点与陷阱。

Core Concept: MMMU 测学科推理（难）、MMBench 测多维能力（细）、MMVP 测'是否真看图'（反捷径）；各有陷阱。

数学机理：<strong>三个代表基准的特点</strong>。(1) <strong>MMMU</strong>——大学级学科题（工程、医学、商科、艺术等），含图表与图像；<strong>特点</strong>——(a) <strong>难度高</strong>（需专业推理，非简单识别）；(b) <strong>区分度好</strong>（顶级模型也难满分）；(c) 含<strong>多图题</strong>（需跨图推理）。<strong>陷阱</strong>——(a) <strong>选择题猜测</strong>（4 选 1 有 25% 基线）；(b) <strong>学科知识可能来自语言先验</strong>（模型可能靠'学科常识'答对而不看图）；(c) <strong>题目数量有限</strong>（易污染）。(2) <strong>MMBench</strong>——<strong>多维度能力细分</strong>（约 20 个子能力，如'属性识别/空间关系/OCR/推理'）；用'CircularEval'（循环选项顺序）减少位置偏差。<strong>特点</strong>——能定位'哪个能力弱'。<strong>陷阱</strong>——(a) 子能力的样本量小（单项的统计噪声大）；(b) 仍以选择题为主（不测开放式能力）。(3) <strong>MMVP</strong>——由 <strong>CLIP 盲对（CLIP-blind pairs）</strong> 构成：成对的两张图'CLIP 认为相似但人类明显不同'（如'狗朝左'vs'狗朝右'）；问题必须<strong>看图才能答</strong>。<strong>特点</strong>——直接揭露'<strong>语言先验主导</strong>'（若模型不看图也能答对，说明它没用视觉）。<strong>陷阱</strong>——(a) 题目少（300 题）；(b) 只测'细粒度视觉区分'（不测推理）；(c) 但它是<strong>最有价值的'反捷径'工具</strong>。<strong>通用陷阱（所有 VLM 基准）</strong>——(1) <strong>'不看图也能答对'（shortcut）</strong>——必须对比'仅文本基线'：若'只给问题不给图'的性能接近'给图'，则模型没用到视觉（这是最严重的陷阱）。(2) <strong>选择题的猜测</strong>——随机基线 25%；故需报告'相对基线的提升'。(3) <strong>答案格式敏感</strong>——解析失败会低估（如模型输出'答案是 B'而解析器只认'B'）。(4) <strong>污染</strong>——公开基准易进入训练数据（尤其图文网络数据）。(5) <strong>评估配置不一致</strong>——prompt/few-shot/分辨率/采样参数的差异导致结果不可比。<strong>检测'靠语言先验答对'的方法</strong>——(a) <strong>仅文本基线</strong>（最直接）；(b) <strong>MMVP 类基准</strong>（专为反捷径设计）；(c) <strong>图像扰动测试</strong>（如把图打乱/换成无关图，看答案是否变化——若不变则说明没看图）；(d) <strong>注意力分析</strong>（检查模型是否关注了图像区域）。<strong>评估实践</strong>——(a) 报告<strong>多个基准</strong>（覆盖不同能力）；(b) <strong>包含反捷径基准</strong>（MMVP）；(c) <strong>报告仅文本基线</strong>；(d) <strong>报告评估配置</strong>；(e) <strong>人工抽检</strong>（尤其开放式任务）。

深度剖析与工程权衡：① <strong>'仅文本基线'是最重要的对照</strong>——它直接回答'模型是否真的在看图'；很多 VLM 在'不看图'时也能答对 60%+ 的选择题（因为语言先验强），故必须报告。② <strong>'MMVP 是反捷径的黄金工具'</strong>——它用'CLIP 盲对'构造'必须看图'的问题；面试中能提到 MMVP 并解释'CLIP 盲对'的概念是深度理解的标志。③ <strong>'选择题的天花板'</strong>——选择题无法测'描述质量/对话能力'；故需 (a) 开放式评估（人工或 LLM-judge）、(b) 生成任务基准（如 captioning 的 CIDEr）。④ <strong>'污染风险高'</strong>——VLM 的训练数据是网络图文，很可能包含基准题目；故需污染检测（n-gram 重叠）。⑤ <strong>'多维度报告'的实践价值</strong>——模型可能在'识别'上强、'推理'上弱；故需分维度报告（而非只看总分）以便针对性改进。⑥ <strong>面试要点</strong>——被问'VLM 基准有什么陷阱'，应给出'<strong>三类基准（MMMU 学科/MMBench 多维/MMVP 反捷径）+ 五大陷阱（不看图也能答/猜测/格式/污染/配置不一致）+ 检测方法（仅文本基线/图像扰动）</strong>'；能指出'必须报告仅文本基线'是深度理解的标志。