M6-084M6: 多模态与生成模型条件控制与编辑Hard
⚡闪卡盲测➔掌握度:

解释定制化生成(DreamBooth / Textual Inversion / LoRA)。

🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
下一题: M6-085 →
📐 核心数学机理公式
DreamBooth: θ→θ′, rare token [V];TI: learn v∗;LoRA: W+ΔW\text{DreamBooth}:\ \theta\to\theta',\ \text{rare token }[V];\qquad \text{TI}:\ \text{learn }v^*;\qquad \text{LoRA}:\ W+\Delta W
⚡ 一句话直击要害答案
DreamBooth 用少量图微调整个模型绑定新标识符;Textual Inversion 只学新 token 嵌入;LoRA 学低秩增量。

📌 核心要点提炼

  • •
    DreamBooth:少量图微调全模型 + 绑定稀有 token(保真最好、易过拟合)
  • •
    Textual Inversion:只学一个新 token 的嵌入(最轻、表达力弱)
  • •
    LoRA:学低秩增量(平衡:轻量且表达力好)

📐 数学机理与严密推导

数学机理:三种定制化方法。(1) Textual Inversion(TI,Gal 等 2022)——只学习一个新 token 的嵌入 v*(在文本编码器的词嵌入空间);用 3~5 张参考图训练,使'v* 能代表该概念';生成时在 prompt 中用 v* 即可。特点——(a) 最轻量(只学一个向量);(b) 可组合(v* 可与其他词组合);(c) 表达力有限(一个向量难编码复杂概念);(d) 不改变模型(可插拔)。(2) DreamBooth(Ruiz 等 2022)——微调整个扩散模型;关键是绑定一个稀有 token(如 [V],先用 rare-token 搜索找到在词表中出现很少的 token):prompt 写成'a [V] dog',让 [V] 学会代表'这只特定的狗'。特点——(a) 保真度最好(微调全模型);(b) 风险:过拟合(少量图 + 全模型微调 → 容易'只会画这一张图的姿态');(c) 风险:语言漂移(模型可能遗忘其他概念)。(3) LoRA(Low-Rank Adaptation)——学低秩增量(W+BA);特点——(a) 平衡(参数量少但表达力好);(b) 不易过拟合(低秩约束起正则作用);(c) 可插拔(可加载/卸载/组合);(d) 存储小(几 MB);(e) 成为当前主流。关键技巧(DreamBooth 的'先验保持损失')——为缓解过拟合与语言漂移,DreamBooth 引入 prior preservation loss:在训练时同时让模型生成'类别的通用样本'(如'a dog')并保持其能力;这防止模型把'狗'这个类别的概念也'改掉'。对比——(a) 参数量:TI(1 个向量)< LoRA(低秩矩阵)< DreamBooth(全模型);(b) 保真度:DreamBooth ≈ LoRA > TI;(c) 灵活性/可组合:TI ≈ LoRA > DreamBooth;(d) 过拟合风险:DreamBooth > LoRA > TI;(e) 训练成本:DreamBooth > LoRA > TI。选择依据——(a) 只要一个简单概念(风格/色调) → TI;(b) 需要高保真(特定人物/物体) → LoRA(首选)或 DreamBooth;(c) 需要多概念组合 → LoRA(可叠加);(d) 资源受限 → LoRA/TI。其他方法——(a) Custom Diffusion(只微调交叉注意力的 K/V);(b) Textual Inversion + LoRA 组合;(c) IP-Adapter(免训练,用参考图);(d) T2I-Adapter。评估——(a) 主体保真度(与参考图的相似度);(b) 提示遵循(能否按新 prompt 生成该主体);(c) 多样性(不同姿态/场景);(d) 语言保持(其他概念是否退化)。实践建议——(a) 首选 LoRA(平衡最优);(b) 数据 5~20 张(多视角、多背景);(c) 用先验保持损失(防漂移);(d) 控制训练步数(防过拟合)。

🏭 深度剖析与工业落地权衡

深度剖析与工程权衡:① 'LoRA 成为主流'——因为它平衡了保真度、参数量、过拟合风险与可插拔性;面试中能给出三者对比是深度理解的标志。② '稀有 token 的作用'——避免与已有词汇冲突(若用常见词,模型会把该词的含义'改掉');这是 DreamBooth 的关键技巧。③ '先验保持损失'解决语言漂移——它让模型在学新概念的同时'记住'类别概念;这是 DreamBooth 的重要贡献。④ '过拟合是定制化的核心风险'——少量图 + 全模型微调易过拟合(只会复制参考图的姿态);故用 (a) 低秩(LoRA)、(b) 先验保持、(c) 早停。⑤ '可插拔性'的实用价值——LoRA/TI 可加载/卸载/组合(多概念叠加);DreamBooth 不能(每次都要换模型)。⑥ 面试要点——被问'怎么定制生成',应给出'DreamBooth(全模型 + 稀有 token + 先验保持)/ TI(只学 token 嵌入)/ LoRA(低秩增量)'与'保真度/参数量/过拟合/可插拔的对比';能指出'稀有 token 与先验保持'是深度理解的标志。
⚠️ 常见面试陷阱与高频失分点
  • ✕
    DreamBooth 用常见词做标识符(会改掉该词含义)
  • ✕
    不做先验保持(语言漂移)
🎯 面试官连环追问与延伸考察
  • ?
    DreamBooth 为什么要用稀有 token?
  • ?
    三种方法的保真度与灵活性对比?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
📚

关联知识库专题与交互式导图

← 上一题M6-083: 解释文本编辑与属性解耦(prompt editing)。📋 返回题库下一题 →M6-085: 解释参考图生成(reference-based generation)与身份保持。