M6-036M6: 多模态与生成模型VLM 训练与评估Hard
⚡闪卡盲测➔掌握度:

解释 VLM 在多图与视频上的评估难点。

🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
下一题: M6-037 →
📐 核心数学机理公式
multi-image: cross-image reasoning;video: temporal, causal, long-horizon\text{multi-image}:\ \text{cross-image reasoning};\qquad \text{video}:\ \text{temporal},\ \text{causal},\ \text{long-horizon}
⚡ 一句话直击要害答案
多图需评'跨图比较/关系';视频需评'时序/因果/长程';两者都受 token 预算与采样策略影响。

📌 核心要点提炼

  • •
    多图:跨图比较、指代('图 2 中的物体')、图像数量泛化
  • •
    视频:时序理解、动作识别、因果推理、长程依赖
  • •
    难点:token 预算(帧/图多了放不下)、采样策略影响结果

📐 数学机理与严密推导

数学机理:多图评估的难点——(a) 跨图推理——需理解'图 1 与图 2 的关系'(比较、变化、相同/不同);这类题目要求模型同时保持多图的信息(而非只看一张);(b) 指代清晰性——'第二张图里的物体'需要模型正确索引图像;故需图像索引机制(如 <image_2> 标记);(c) 图像数量泛化——训练时 2 张图、推理时 8 张,性能可能显著下降(因为注意力分布与 token 预算变化);(d) token 预算——M 张图 × N token 易超上下文,故需压缩(但压缩可能损害跨图细节);(e) 基准稀缺——多图基准较少(NLVR2、部分 MMMU 题、以及专门的'多图 QA');评估覆盖不足。视频评估的难点——(a) 时序理解——'先发生什么'(动作顺序)、'持续多久'(时长);需模型理解时间维;(b) 因果推理——'为什么这个动作导致那个结果';(c) 长程依赖——长视频(分钟级)的关键信息可能相隔很远(如'开头的人物在结尾出现');(d) 采样策略的影响——视频需抽帧(帧数有限);抽帧方式(均匀/关键帧/密集)显著影响结果——同一模型不同抽帧策略的分数差异可能很大,导致结果不可比;(e) 时序分辨率与 token 预算的矛盾——帧数多则 token 多(成本高);帧数少则漏掉关键动作;(f) 基准的局限——现有视频基准多测'单帧可答'的问题(如'视频里有什么'),而非真正的时序推理;(g) 评估成本——视频的 token 数远大于图像(数十帧 × 每帧数百 token),评估成本高。评估实践——(a) 多图——用'指代明确'的题目(避免歧义)、测'图像数量泛化'(不同数量)、报告 token 预算;(b) 视频——固定抽帧策略(否则不可比)、报告帧数与采样方式、区分'单帧可答'与'需时序'的题目(如 TempCompass 的时序子集)、用专门基准(Video-MME、MVBench、TempCompass);(c) 两者都需——报告'因预算不足的失败'、与'单图/单帧基线'对比。改进方向——(a) 时序位置编码(3D RoPE 的时间维);(b) 稀疏/分层采样(先粗筛关键帧、再密集处理);(c) 视频摘要(把长视频压成关键帧 + 文本摘要);(d) 专门的时序注意力设计(时空分离注意力)。

🏭 深度剖析与工业落地权衡

深度剖析与工程权衡:① '抽帧策略影响结果'是视频评估的关键问题——不同论文用不同抽帧方式,导致分数不可比;故必须报告抽帧配置(帧数、采样方式)。② '单帧可答'的问题掩盖时序能力——很多视频基准的问题用单帧就能答(如'视频里有什么');故需 (a) 时序专门子集、(b) 与'单帧基线'对比。③ '图像数量泛化'是多图的常见失败——训练时数量固定会导致推理时数量变化即失效;故需训练时随机化数量。④ 'token 预算是最硬的约束'——多图/视频的 token 需求远超图像;故需 (a) 固定 K 压缩、(b) 稀疏采样、(c) 分层处理。⑤ '指代明确性'影响多图评估的公平性——若题目中的'那张图'指代不明,则模型答错不是能力问题;故基准设计需明确索引。⑥ 面试要点——被问'多图/视频怎么评估',应给出'多图(跨图推理/指代/数量泛化/预算)+ 视频(时序/因果/长程/抽帧策略)'与'必须报告抽帧配置、区分单帧可答与时序题';能指出'抽帧策略导致结果不可比'是深度理解的标志。
⚠️ 常见面试陷阱与高频失分点
  • ✕
    不报告抽帧策略(结果不可比)
  • ✕
    用'单帧可答'的题评估时序能力
🎯 面试官连环追问与延伸考察
  • ?
    视频的'时序'如何评?
  • ?
    为什么视频评估结果不可比?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
📚

关联知识库专题与交互式导图

← 上一题M6-035: 解释 grounding 能力与它的训练数据。📋 返回题库下一题 →M6-037: 解释 VLM 的效率优化方向。