M6-097M6: 多模态与生成模型视频 / 3D / 音频Hard
⚡闪卡盲测➔掌握度:

解释全模态模型的评估难点。

🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
下一题: M7-001 →
📐 核心数学机理公式
eval: per-modality+cross-modal+robustness;challenge: no unified metric\text{eval}:\ \text{per-modality}+\text{cross-modal}+\text{robustness};\qquad \text{challenge}:\ \text{no unified metric}
⚡ 一句话直击要害答案
需覆盖多模态理解与生成、跨模态任务与模态缺失;且各模态指标不可直接比较、评估成本高。

📌 核心要点提炼

  • •
    需分别评各模态(文本/图像/音频/视频)的指标,且不可直接比较
  • •
    需评跨模态任务(语音问答、图文视频推理)
  • •
    需评模态缺失/部分输入的鲁棒性;评估成本高

📐 数学机理与严密推导

数学机理:评估的三个层次。(1) 单模态指标——(a) 文本:困惑度、任务准确率;(b) 图像:FID、CLIP-score;(c) 音频:WER(ASR)、MOS(TTS);(d) 视频:FVD、时间一致性。问题——这些指标量纲与含义不同,无法直接比较或平均('FID 5'与'WER 3%'谁更好?);故需分别报告(而非合并为单一分数)。(2) 跨模态任务——(a) 语音问答(听问题、用文本答);(b) 图文视频推理(结合多种模态推理);(c) 跨模态检索(文本↔图像↔音频);(d) 多模态对话(混合输入的多轮交互);(e) 模态转换(语音→文本→图像)。特点——跨模态任务更接近'全模态模型'的价值主张;但基准稀缺(大多数基准只覆盖 1~2 种模态)。(3) 鲁棒性与模态缺失——(a) 模态缺失(只给部分模态,模型是否仍能工作);(b) 模态冲突(不同模态信息矛盾时的处理);(c) 噪声模态(含噪音频、低质图像);(d) 模态比例变化(不同模态的 token 数变化)。评估成本——(a) 计算成本(多模态推理比单模态贵);(b) 数据成本(多模态标注贵);(c) 人工成本(多模态质量需人工评估,如视频的时序合理性)。其他难点——(a) 生成与理解的权衡——统一模型可能在'理解'上强、'生成'上弱(或反之);需分别评估;(b) 模态间的'能力干扰'——加入某模态可能损害另一模态的能力(需检测);(c) 评估的'模态覆盖不均'——多数基准集中在文本+图像,音频/视频覆盖少;(d) 污染风险(多模态数据的网络来源易含基准内容)。评估实践——(a) 分层报告(单模态 / 跨模态 / 鲁棒性,各自独立);(b) 不合并为单一分数(除非有明确的加权依据);(c) 包含模态缺失测试;(d) 人工评估(多模态质量);(e) 成本报告(延迟/显存);(f) 与'专用模型'对比(统一模型是否'样样不如专用'?——这是关键的'性价比'问题)。关键问题——'统一模型 vs 专用模型'的取舍:(a) 统一——一个模型处理所有模态(部署简单、可跨模态迁移);(b) 专用——每个模态用最好的专用模型(性能可能更好);评估应回答'统一的代价有多大'。度量——(a) 各模态指标;(b) 跨模态任务指标;(c) 模态缺失的鲁棒性;(d) 成本;(e) 与专用模型的差距。

🏭 深度剖析与工业落地权衡

深度剖析与工程权衡:① '各模态指标不可比较'是评估的核心难题——故需分别报告而非合并;面试中能指出这一点是深度理解的标志。② '跨模态基准稀缺'是当前瓶颈——大多数基准只覆盖 1~2 种模态;故'全模态'的能力难以充分评估。③ '模态缺失鲁棒性'是关键测试——真实场景常缺模态(如只有音频);故需专门测试。④ '统一 vs 专用的性价比'是核心问题——统一模型的性能可能不如专用,但部署更简单;评估应量化这一代价。⑤ '模态干扰'需检测——加入新模态可能损害原能力(如加音频后文本能力下降);故需回归测试。⑥ 面试要点——被问'全模态模型怎么评估',应给出'三层(单模态/跨模态/鲁棒性)+ 不可合并为单一分数 + 模态缺失测试 + 与专用模型对比';能指出'统一 vs 专用的性价比'是深度理解的标志。
⚠️ 常见面试陷阱与高频失分点
  • ✕
    把不同模态的指标合并为单一分数
  • ✕
    不做模态缺失与干扰测试
🎯 面试官连环追问与延伸考察
  • ?
    为什么'各模态指标不可直接比较'?
  • ?
    如何评'模态缺失'的鲁棒性?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
📚

关联知识库专题与交互式导图

← 上一题M6-096: 解释统一多模态 token 化的挑战。📋 返回题库下一题 →M7-001: 写出 BM25 公式,并解释 k1 与 b 的作用