多模态评测基准

多模态评测按维度分工: MMBench 测综合能力、MMMU 测学科推理、POPE 测幻觉, 各自用不同的题制与指标。 MMBench: 30 种能力、16 大维度 (~3000 道选择题) 覆盖感知/认知/知识, 采用“只输出选项字母”的单字母约束避免开放生成的解析歧义, 指标即选择题准确率 $Acc = \frac{1}{N} \sum_{i=1}^{N} \mathbb{1}[\hat{y}_i = y_i]$; MMMU: 大学级多学科 (艺术/商科/科学/工程等 30+ 学科, 11.5K 题), 设计上要求“视觉信息是必要的” (不看图接近 25% 随机水平), 专门考 感知+知识+推理 的组合; POPE (Polling-based Object Probing Evaluation): 物体存在性探测——对候选物体逐一提问 “Is there a [object] in the image?”, 正样本=图中真实物体, 负样本=图中不存在的物体 (分 random / popular / adversarial 三档难度), 指标用二分类的精确率/召回率/F1: $$F_1 = \frac{2 \cdot P \cdot R}{P + R}, \quad P = \frac{TP}{TP+FP}, \quad R = \frac{TP}{TP+FN}$$ 并报告 yes-ratio (回答 Yes 的比例) 反映整体幻觉倾向。其余常用: ChartQA (数值推理)、TextVQA/DocVQA (OCR)、ScienceQA (科学图)、HallusionBench/MMHal-Bench (幻觉+推理, 后者用 LLM-as-judge 多维度打分)。

面试考“评价一个多模态模型用什么基准、为什么”; 模型选型时按 能力维度 (MMBench) + 幻觉风险 (POPE) + 强推理 (MMMU) 三件套交叉验证; 发版前回归对比。

单一大规模 VQA 基准无法区分能力 (分数高可能只因语言先验/检索捷径, 如看图不改答案); 分维度基准 (MMBench 能力矩阵) + 视觉必要题 (MMMU) + 存在性探测 (POPE 对抗负例) 三管齐下, 分别压制 答非所问、语言捷径、物体幻觉 三类测评漏洞, 让分数可归因到具体能力缺口。

MMBench 的能力分类与单字母选择题设计为什么有效?

MMMU 与一般 VQA 基准的区别?为什么强调视觉信息是 necessary?

POPE 三种负样本构造策略 (random/popular/adversarial) 的区别?

写出 POPE 的 Precision/Recall/F1 与 yes-ratio, 各自衡量什么?

CHAIR / MMHal-Bench / HallusionBench 的幻觉评测方法学差异?