M6-022M6: 多模态与生成模型连接器架构Hard
⚡闪卡盲测➔掌握度:

解释连接器的训练策略(冻结 vs 联合训练)。

🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
下一题: M6-023 →
📐 核心数学机理公式
stage1: train Wc only;stage2: unfreeze LLM (or top of ViT)\text{stage1}:\ \text{train }W_c\ \text{only};\qquad \text{stage2}:\ \text{unfreeze LLM (or top of ViT)}
⚡ 一句话直击要害答案
阶段一冻结视觉塔与 LLM 只训连接器(对齐);阶段二解冻 LLM(或部分解冻视觉塔)联合微调。

📌 核心要点提炼

  • •
    阶段一:冻结视觉塔 + LLM,只训连接器(特征对齐)
  • •
    阶段二:解冻 LLM 做指令微调(学会使用视觉信息)
  • •
    可选阶段三:部分解冻视觉塔(适配高分辨率/领域)

📐 数学机理与严密推导

数学机理:三阶段训练策略(以 LLaVA 为代表)。(1) 阶段一:特征对齐(只训连接器)——冻结视觉塔与 LLM,只训练连接器(MLP/Q-Former);数据是'图文对'(图像 + 描述),损失是'生成描述'的交叉熵。为什么必须冻结 LLM——(a) 随机初始化的连接器产生的视觉 token 是'无意义的'(与 LLM 的表示空间不匹配);若此时联合训练,LLM 会试图'解读无意义的输入',导致语言能力被破坏(灾难性遗忘);(b) 冻结 LLM 使连接器'被迫学会输出 LLM 能理解的表示'(这是对齐的本质);(c) 成本低(只训少量参数)。(2) 阶段二:指令微调(解冻 LLM)——解冻 LLM(视觉塔通常仍冻结),用'多模态指令数据'(问答、对话、推理)联合训练连接器与 LLM。目的——(a) 让 LLM 学会'按指令使用视觉信息'(不仅是描述,还有问答、推理、多轮);(b) 让连接器与 LLM 协同优化(端到端)。为什么视觉塔仍冻结——(a) 省算力(视觉塔参数多);(b) 避免破坏视觉塔的通用能力(灾难性遗忘);(c) CLIP/SigLIP 已提供语言对齐特征,无需再训。(3) 可选阶段三:部分解冻视觉塔——当需要 (a) 适配高分辨率(原生分辨率的视觉塔与预训练的固定分辨率不同)、(b) 适配新领域(医疗、遥感)、(c) 提升细粒度能力(OCR)时,解冻视觉塔的顶层(或全部)做继续训练。为什么只解冻顶层——底层特征(边缘、纹理)通用性强,不需改;顶层(语义)需适配。其他策略——(a) LoRA 微调视觉塔(参数高效);(b) 只训视觉塔的最后几层;(c) 完全联合训练(资源充足时上限最高)。实证——(a) LLaVA 的两阶段(冻结 LLM → 解冻 LLM)效果好且成本可控;(b) 完全联合训练(从头)成本极高且易不稳;(c) 高分辨率/专业领域需阶段三。关键原则——'先对齐、再联合';'先冻 LLM、后解冻';'视觉塔最后解冻'。

🏭 深度剖析与工业落地权衡

深度剖析与工程权衡:① '先对齐再联合'是关键原则——若一开始就联合训练,无意义的视觉 token 会破坏 LLM;故必须先让连接器'学会说 LLM 的语言'。② '视觉塔最后解冻'的优先级——因为视觉塔已有通用能力(且参数多、训练贵),故只在必要时解冻。③ '高分辨率需解冻视觉塔'的原因——预训练的 CLIP 是固定低分辨率(224/336);用原生高分辨率时,位置编码与特征分布不同,需继续训练以适配。④ '灾难性遗忘'的风险——解冻 LLM 做多模态微调可能损害纯文本能力;故常 (a) 混合纯文本数据、(b) 用小学习率、(c) 用 LoRA。⑤ '数据质量决定上限'——阶段二的指令数据质量(是否覆盖多样任务、答案是否准确)直接决定 VLM 能力;LLaVA 用 GPT-4 生成指令数据是关键(见 VLM 训练与评估题)。⑥ 面试要点——被问'VLM 怎么训练',应给出'三阶段(只训连接器 → 解冻 LLM → 可选解冻视觉塔)+ 为什么先冻结 LLM(避免破坏语言能力)+ 为什么视觉塔最后解冻(通用能力 + 参数多)';能指出'高分辨率需解冻视觉塔'是深度理解的标志。
⚠️ 常见面试陷阱与高频失分点
  • ✕
    阶段一就联合训练(破坏 LLM 语言能力)
  • ✕
    无条件完全解冻视觉塔(成本高且可能遗忘)
🎯 面试官连环追问与延伸考察
  • ?
    为什么阶段一必须冻结 LLM?
  • ?
    什么时候需要解冻视觉塔?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
📚

关联知识库专题与交互式导图

← 上一题M6-021: 解释原生多模态(early fusion)架构与后期融合的差异。📋 返回题库下一题 →M6-023: 解释多图与交错输入(interleaved)的处理。