Controllable Generation & Image Editing: 解释参考图生成（reference-based generation）与身份保持。

Core Concept: 用参考图提供'主体/风格'信息，通过 IP-Adapter、参考注意力、或多图微调保持身份；难点是'既像又不完全复制'。

数学机理：<strong>参考图生成的设定</strong>——给定参考图 I_ref 与文本 prompt，生成'保持 I_ref 主体身份/风格'但'按 prompt 变化'的新图：p(x|prompt, I_ref)。<strong>核心张力（identity vs editability）</strong>——(a) <strong>过度保持</strong>（如直接用参考图或强 IP-Adapter）→ 生成结果'太像参考图'（无法按 prompt 改变姿态/场景）；(b) <strong>保持不足</strong> → 生成结果'不像'参考主体（失去身份）；故需在两者间平衡（通过 scale、掩码、条件强度调节）。<strong>技术路线</strong>——(1) <strong>IP-Adapter</strong>（免训练，CLIP 图像嵌入 + 解耦交叉注意力）——<strong>优点</strong>：轻量、可插拔、可调 scale；<strong>缺点</strong>：CLIP 嵌入是全局语义（<strong>细节丢失</strong>，难以精确复制纹理/五官）。(2) <strong>参考注意力（reference attention，如 Paint-by-Example、AnyDoor）</strong>——把参考图的<strong>特征图</strong>（而非全局嵌入）注入，用'自注意力 + 参考注意力'对齐；<strong>优点</strong>：保留更多细节（因为用了特征图）；<strong>缺点</strong>：实现复杂、需训练。(3) <strong>微调类</strong>（DreamBooth/LoRA）——用参考图训练一个'主体 LoRA'；<strong>优点</strong>：保真度最高；<strong>缺点</strong>：需训练（每个主体一个 LoRA）。(4) <strong>多图参考</strong>——用多张参考图（多视角）提升一致性；<strong>优点</strong>：更全面的身份信息；<strong>缺点</strong>：需融合多图（注意力或嵌入平均）。(5) <strong>身份专用的嵌入</strong>——如人脸场景用<strong>人脸识别模型的嵌入</strong>（ArcFace 等）替代 CLIP（因为 CLIP 不擅长人脸身份）；这是 IP-Adapter-FaceID 的做法。<strong>提升细节保真的手段</strong>——(a) <strong>用特征图而非全局嵌入</strong>（参考注意力）；(b) <strong>专用嵌入</strong>（人脸用 ArcFace）；(c) <strong>高分辨率参考图 + 高分辨率生成</strong>；(d) <strong>inpainting 保关键区域</strong>（如脸部用掩码保护）；(e) <strong>后处理融合</strong>（把参考图的关键区域贴回）。<strong>难点</strong>——(a) <strong>姿态变化</strong>（参考图是正面、生成要侧面——需要'3D 感知'或参考图的多样视角）；(b) <strong>多主体</strong>（一张图多个主体，需指定'哪个'）；(c) <strong>风格与身份的分离</strong>（'用这个人的脸 + 这个画风'）；(d) <strong>一致的多图生成</strong>（同一主体在多个场景下保持一致）。<strong>评估</strong>——(a) <strong>身份相似度</strong>（用专门的人脸/物体识别模型计算）；(b) <strong>提示遵循</strong>（是否按 prompt 变化）；(c) <strong>真实感</strong>；(d) <strong>多样性</strong>；(e) 人工评估。<strong>实践建议</strong>——(a) <strong>风格迁移</strong> → IP-Adapter（全局风格足够）；(b) <strong>人脸/精确主体</strong> → FaceID 嵌入 或 主体 LoRA；(c) <strong>需要细节保真</strong> → 参考注意力 或 inpainting 保关键区域；(d) <strong>商业应用</strong> → 建校验流程（相似度阈值 + 人工）。

深度剖析与工程权衡：① <strong>'身份 vs 可编辑的张力'是核心</strong>——过度保持则不能编辑、保持不足则不像；面试中能指出这一张力是深度理解的标志。② <strong>'CLIP 嵌入丢细节'是 IP-Adapter 的固有局限</strong>——故它适合风格而非精确主体；需细节时用参考注意力或 LoRA。③ <strong>'人脸需专用嵌入'</strong>——CLIP 不是为人脸识别训练的，故人脸身份保持需 ArcFace 等；这是 FaceID 变体的动机。④ <strong>'多参考图提升一致性'</strong>——多视角参考提供更完整的身份信息；但需融合（注意力/平均）。⑤ <strong>'与 inpainting 的组合'</strong>——用掩码保护关键区域（如脸部）+ 生成其余部分，是提升保真的实用手段。⑥ <strong>面试要点</strong>——被问'参考图生成怎么做'，应给出'<strong>IP-Adapter（免训练、丢细节）/ 参考注意力（保细节）/ 主体 LoRA（保真最高）+ 专用嵌入（人脸）+ 多图参考</strong>'与'<strong>身份 vs 可编辑的张力</strong>'；能指出'人脸需 ArcFace 类嵌入'是深度理解的标志。