M6-054M6: 多模态与生成模型引导与采样Medium
⚡闪卡盲测➔掌握度:
解释 guidance scale 的权衡。
🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
📐 核心数学机理公式
⚡ 一句话直击要害答案
s 越大越贴合 prompt 但多样性下降、易过饱和;s 太小则忽略 prompt;需按任务调(常用 5~12)。
📌 核心要点提炼
- •s 小:忽略 prompt、结果多样但不对题
- •s 大:贴合 prompt 但过饱和(色彩过艳、结构僵硬)、多样性低
- •常用 5~12(SD 默认 7.5);需按任务与模型调
📐 数学机理与严密推导
数学机理:s 的双向效应——CFG 的组合为 ε̂=ε(∅)+s(ε(c)−ε(∅))。(1) s 太小(如 <3)——条件影响弱,生成结果'接近无条件分布'(多样但与 prompt 关联弱);s=1 时完全无引导。(2) s 适中(如 7~12)——良好的 prompt 遵循与合理多样性(默认区间)。(3) s 太大(如 >15)——(a) 过饱和(oversaturation)——颜色过艳、对比度过高(因为放大了'超出数据分布的方向',导致像素值饱和);(b) 结构僵硬/重复——过度优化条件导致'模式坍缩'(不同种子给出相似结果);(c) 不自然——违背物理/解剖(如多手指、扭曲);(d) 多样性崩塌。为什么 s 过大产生伪影——从 score 视角:s>1 时组合为 (1−s)∇log p(x)+s∇log p(x|c),其中 (1−s)<0 意味着减去无条件分布('远离通用图像');s 越大'远离'越多,导致样本落在数据分布的低密度区域(不自然、过饱和)。如何选择 s——(a) 经验区间(SD 1.5/SDXL 常用 7~7.5;SD3/Flux 等新模型常用 3.5~5,因为它们训练更好、对引导依赖低);(b) 按任务调——(i) 需要严格遵循 prompt(如产品图)→ s 大一些;(ii) 需要多样性/艺术性 → s 小一些;(c) 动态 s——不同时间步用不同 s(如前期大、后期小,避免过饱和);(d) 自动选择——用'CFG rescale'(对引导后的结果做尺度校正,避免过饱和)或'自适应引导'。缓解过饱和的技巧——(a) CFG rescale(--cfg-rescale)——把引导后的预测的标准差重新缩放到'无条件预测的标准差',避免过饱和;(b) 动态阈值(dynamic thresholding)(Imagen 的做法)——对预测的 x_0 做分位数截断;(c) 更小的 s + 更好的模型(新模型对引导的依赖更低)。与其他旋钮的交互——(a) 步数——s 大时可能需要更多步(因为每步'走得更远');(b) 调度——不同调度的'信噪比分布'影响 s 的效果;(c) 参数化(ε/v)——影响引导的数值行为。实践建议——(a) 从 7.5 起步(旧模型)或 4~5(新模型);(b) 若过饱和则 (i) 降低 s、(ii) 开 CFG rescale、(iii) 用动态阈值;(c) 若忽略 prompt 则提高 s(但注意上限);(d) 记录 s(因为它显著影响结果,评测时需报告)。
🏭 深度剖析与工业落地权衡
深度剖析与工程权衡:① 's>1 意味着减去无条件分布'——这是理解过饱和的钥匙:s 越大'越远离通用分布',故落到低密度区(不自然)。② '新模型对引导依赖更低'——因为训练更好、条件遵循更强;故 s 的默认值在下降(7.5 → 3.5~5)。③ 'CFG rescale 是实用技巧'——它几乎零成本地缓解过饱和(把引导结果的尺度拉回无条件预测的尺度);应在 s 较大时开启。④ '多样性 vs 遵循的权衡是根本——CFG 无法同时最大化两者;故需按应用选点(产品图重遵循、艺术创重多样)。⑤ '评测必须报告 s'——不同 s 的结果差异巨大;不报告 s 的评测不可比。⑥ 面试要点——被问'guidance scale 怎么调',应给出's 小忽略 prompt、s 大过饱和与多样性崩塌、常用 7~12(新模型 3.5~5)'与'过饱和的机制(减去无条件分布 → 低密度区)+ 缓解(CFG rescale / 动态阈值)';能指出'新模型 s 默认值下降'是深度理解的标志。
⚠️ 常见面试陷阱与高频失分点
- ✕把 s 调得过大(过饱和、多样性崩塌)
- ✕评测时不报告 s(结果不可比)
🎯 面试官连环追问与延伸考察
- ?为什么 s 过大产生过饱和?
- ?如何自动选 s?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!