K3Easy★ 工业基石 (核心高频)Part K · 生成模型与多模态扩散
CFG(Classifier-Free Guidance 无分类器引导)
Midjourney / Stable Diffusion / Flux 画质跃升核心,条件与无条件预测按引导系数 w 线性外插。
⏱️ 时间复杂度:
O(B * C * H * W) 前向计算量翻倍💾 空间复杂度:
显存批次翻倍🎯 免登录实战自测闭环(先做再看答案)
按「机制回忆 → 关键行填空 → 边界反例 → 追问与错题记录」顺序自测,进度自动保存在本地。
Step 1 · 机制口述与数值稳定性自检
Step 2 · 核心代码关键行补全
import numpy as np
def apply_classifier_free_guidance(
noise_pred_uncond: np.ndarray, # (B, C, H, W) 无条件输出
noise_pred_cond: np.ndarray, # (B, C, H, W) 文本条件输出
guidance_scale: float = 7.5
) -> np.ndarray:
"""
CFG 线性外插公式: uncond + scale * (cond - uncond)
"""
return
Step 3 · 反例与边界断言核对
💡
实战一句话记忆口诀
无条件做基底,条件差值指明灯,倍率外插放大推,图文精准细节真
📐 核心数学公式与机理推导
### 条件增强与分数外插机制
早期的条件扩散模型依赖外部独立分类器的梯度 来引导采样(Classifier Guidance),但这需要额外训练一个在不同加噪程度下都能准确识别分类的分类器,极其繁琐且对抗攻击脆弱。
Jonathan Ho & Tim Salimans 在 2021 年提出 Classifier-Free Guidance (CFG):
- 训练阶段:同一个网络以 10%~20% 的概率随机将文本 Prompt 条件替换为“空条件”( 占位符),同时学习条件生成与无条件先验;
- 采样阶段:模型每次前向计算两次(或批次合并计算):
1. 无条件预测噪声:;
2. 条件预测噪声:;
- 外插加权:
其中 (如 7.5)。沿着“有提示词比无提示词更好”的向量方向做大步外插,极大提高生成画质与文本契合度(Prompt Alignment)。
早期的条件扩散模型依赖外部独立分类器的梯度 来引导采样(Classifier Guidance),但这需要额外训练一个在不同加噪程度下都能准确识别分类的分类器,极其繁琐且对抗攻击脆弱。
Jonathan Ho & Tim Salimans 在 2021 年提出 Classifier-Free Guidance (CFG):
- 训练阶段:同一个网络以 10%~20% 的概率随机将文本 Prompt 条件替换为“空条件”( 占位符),同时学习条件生成与无条件先验;
- 采样阶段:模型每次前向计算两次(或批次合并计算):
1. 无条件预测噪声:;
2. 条件预测噪声:;
- 外插加权:
其中 (如 7.5)。沿着“有提示词比无提示词更好”的向量方向做大步外插,极大提高生成画质与文本契合度(Prompt Alignment)。
🔄 张量维度与形状流转说明
noise_uncond, noise_cond -> 差值 * scale -> 叠加回 uncond -> 引导后最终预测噪声
🛡️ 数值稳定性自检与边界要点
- guidance_scale 过大(如 > 15)会导致图像过饱和(Oversaturation)与边缘色彩破损,工业上常用 Dynamic Thresholding 进行范数保护截断
- 在代码实现中,通常在 Batch 维度将 cond 与 uncond 拼接成 (2*B, ...) 仅执行单次网络前向,利用 GPU 并行能力
💻 完整参考代码实现
import numpy as np
def apply_classifier_free_guidance(
noise_pred_uncond: np.ndarray, # (B, C, H, W) 无条件输出
noise_pred_cond: np.ndarray, # (B, C, H, W) 文本条件输出
guidance_scale: float = 7.5
) -> np.ndarray:
"""
CFG 线性外插公式: uncond + scale * (cond - uncond)
"""
return noise_pred_uncond + guidance_scale * (noise_pred_cond - noise_pred_uncond)
🧪 本地测试与正确性断言
可直接复制到本地 Python / Jupyter 验证:
import numpy as np
uncond = np.array([1.0, 2.0])
cond = np.array([1.5, 3.0])
# diff = [0.5, 1.0], scale=7.5 -> 1.0 + 3.75 = 4.75, 2.0 + 7.5 = 9.5
cfg_out = apply_classifier_free_guidance(uncond, cond, guidance_scale=7.5)
assert np.allclose(cfg_out, [4.75, 9.5])
print("✓ CFG 引导计算自测通过")🎯 核心工程追问与标准应答
Q1:CFG 的代价是推理前向计算量直接增加了一倍,工业界有哪些加速技术?
1. 阶段性 CFG 调度:仅在反向去噪的前半段(形成宏观轮廓结构时)开启 CFG,后半段关闭 CFG 节省算力;2. PAG(Perturbed-Attention Guidance):利用自注意力矩阵的扰动代替无条件前向;3. 蒸馏(LCM / SDXL-Turbo):将高 CFG 生成轨迹直接蒸馏进单步生成网络中。
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!