M6-081M6: 多模态与生成模型条件控制与编辑Medium
⚡闪卡盲测➔掌握度:
解释 inpainting / outpainting 的实现方式。
🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
📐 核心数学机理公式
⚡ 一句话直击要害答案
用掩码标记重绘区域,在扩散中让掩码外保持原图(每步替换已知区域),掩码内按 prompt 生成。
📌 核心要点提炼
- •掩码 m 标记重绘区域(1=重绘、0=保留)
- •每步用'原图的加噪版本'替换掩码外区域
- •掩码内由 prompt 生成;9 通道输入(图 + 掩码 + 掩码图)
📐 数学机理与严密推导
数学机理:inpainting(局部重绘) 的实现——(1) 掩码——用二值掩码 m 标记'要重绘的区域'(m=1)与'要保留的区域'(m=0)。(2) 条件输入——把 (a) 原图(或其潜变量)、(b) 掩码、(c) 掩码后的图(即原图 ×(1−m))拼成9 通道输入(Stable Diffusion Inpainting 的做法:4 潜通道 + 1 掩码 + 4 掩码图潜通道)。(3) 每步替换——在采样的每一步,用'原图的加噪版本'替换掩码外区域:x_t←m⊙x_t^{noisy}+(1−m)⊙x_t^{known},其中 x_t^{known} 是'原图在时间步 t 的加噪版本'(用闭式解从原图加噪得到)。为什么每步替换——(a) 扩散的采样是'逐步去噪';若只在最后替换,则中间步的'保留区域'仍是噪声,会通过注意力影响重绘区域(导致不一致);(b) 每步替换使'保留区域'始终是'原图在该噪声水平的版本',从而 (i) 重绘区域能'看到'正确的上下文、(ii) 边界自然衔接。(4) 掩码的'软边'——实践中常对掩码做羽化(blur)(使边界平滑过渡);否则会有明显的接缝。(5) 掩码内生成——由文本 prompt 引导(可加 CFG);掩码内的内容与'保留区域'通过注意力交互,从而实现风格/光照一致。outpainting(画布扩展) 的实现——(a) 扩展画布——把图像放在更大的画布中(新区域待生成);(b) 掩码——新区域设为'重绘'(m=1)、原图区域设为'保留'(m=0);(c) 生成——与原图区域在边界处衔接;(d) 迭代扩展——若要扩展到很大,可分块迭代(每次扩展一圈,用上一次的结果作为新的'保留区域');(e) 提示——常用'与原图一致的描述'(或让模型从原图推断)。其他方法——(a) 专门的 inpainting 模型(SD Inpainting 版,9 通道);(b) 用普通模型 + 掩码条件(不需专门模型,但效果稍差);(c) Blended Diffusion(在潜空间混合);(d) RePaint(用'重采样'策略)。与'图像编辑'的关系——inpainting 是'局部编辑'的基础(改局部内容);与 SDEdit/inversion(全局编辑)互补。评估——(a) 边界一致性(接缝是否自然);(b) 内容质量(掩码内);(c) 与上下文的一致性(风格/光照/透视);(d) 人工评估。实践建议——(a) 掩码羽化(避免硬边);(b) 每步替换(关键);(c) 合适的重绘区域大小(太大则失去上下文、太小则无意义);(d) prompt 描述一致(与原图风格匹配)。
🏭 深度剖析与工业落地权衡
深度剖析与工程权衡:① '每步替换'是 inpainting 正确性的关键——只在最后替换会导致不一致;面试中能解释'为什么每步'是深度理解的标志。② '掩码羽化'是消除接缝的实用技巧——硬边会产生明显接缝;羽化使过渡自然。③ '9 通道输入'是 SD Inpainting 的设计——把掩码与掩码图作为额外条件;这使模型'知道'哪些要保留。④ 'outpainting 需迭代'——一次扩展太多会导致结构崩坏;故分块迭代(每次扩展一圈)。⑤ '与上下文一致性'是评估重点——掩码内的内容必须与保留区域在风格/光照/透视上一致;否则'看起来是贴上去的'。⑥ 面试要点——被问'inpainting 怎么做',应给出'掩码 + 9 通道条件 + 每步替换保留区域 + 羽化'与'outpainting 的迭代扩展';能指出'每步替换的必要性'是深度理解的标志。
⚠️ 常见面试陷阱与高频失分点
- ✕只在最后替换保留区域(导致不一致)
- ✕掩码不做羽化(出现明显接缝)
🎯 面试官连环追问与延伸考察
- ?为什么每步都要替换(而不是只在最后)?
- ?outpainting 如何实现?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!