图文交错训练数据

交错训练数据 (Interleaved Training Data) 是 VLM 预训练的数据金字塔, 按 图文对 → 交错文档 → 视频 三级组织, 数据配比直接决定能力上限。 第一级 图文对 (image-text pairs, 如 CC3M/LAION-5B): 每图配一条 caption, 对齐信号最强, 但风格单一 (短句描述), 教模型“看到什么说什么”; 第二级 交错文档 (interleaved documents, 如 OBELICS 约 1.15 亿网页文档 / MMC4): 文本中穿插多张图, 教会多图比较、图文交叉引用与长上下文推理; 第三级 视频 (video-text, 如 WebVid-10M): 按帧采样 (通常每段 4–8 帧) 扩展为时间维 token, 建立时序理解。 视觉 token 预算: 单图在 ViT patch size $p$ 下产生 $N_{\text{vision}} = \lceil H/p \rceil \times \lceil W/p \rceil$ 个 token (LLaVA-1.5 的 336×336、patch 14 → 24×24 = 576 个), 视频再乘帧数 $T$: $N_{\text{vision}} = T \times \lceil H/p \rceil \times \lceil W/p \rceil$。

VLM 预训练 (LLaVA/Qwen-VL/InternVL) 的数据组织与配比设计; 面试追问“数据从哪来、怎么配比、为什么这么配”; 也用于判断某个模型为什么擅长多图推理或时序理解。

单一图文对数据能力单一 (对齐强却缺多图推理与长程能力), 纯交错文档又对齐弱; 三级金字塔按比例混合 (如 Flamingo 的 图文对: 交错文档: 视频), 使模型同时获得 单图对齐、多图/长上下文推理、时序理解 三类能力——图文对过多则只会单图 QA, 交错文档过多则图文对齐差, 数据配比 ≈ 能力上限 (数据工程即能力工程)。

检验攻克程度：针对「图文交错训练数据」专属刷题排雷

做单选排雷题、推导选项机制，答错自动收录进专属错题本。