M6-069M6: Multimodal & Generative ModelsFlow Matching & Rectified FlowMedium
Mastery:
Flow Matching & Rectified Flow: 解释条件流匹配与边缘流匹配的差异。
📐 Mathematical Definition
⚡ Executive Summary
Core Concept: 边缘流匹配的目标不可计算(需知道整个分布);条件流匹配用可采样的条件路径,且其梯度与边缘相同。
📌 Key Takeaways
- •边缘流:真实分布演化的速度场(不可计算)
- •条件流:单条路径的速度(可采样、可计算)
- •关键定理:两者的期望损失梯度相同(故可用条件流训练)
📐 Mathematical Derivations
数学机理:<strong>两个概念</strong>。(1) <strong>边缘流匹配(Marginal FM)</strong>——目标向量场 v_marginal(x,t) 是<strong>真实边缘分布</strong> p_t(x) 演化的速度(满足连续性方程 ∂_t p_t+∇·(p_t v)=0);<strong>问题</strong>——p_t 未知(它是'所有条件路径的混合'),故 v_marginal <strong>不可计算</strong>(需对整个分布积分)。(2) <strong>条件流匹配(Conditional FM)</strong>——对每对 (x_0,x_1) 定义一条<strong>条件路径</strong>(如直线),其速度 v_cond(x_t,t)=x_1−x_0(可计算,因为只需一对样本);故 L_CFM=E‖v_θ−v_cond‖² <strong>可直接优化</strong>。<strong>关键定理(FM 论文的核心结果)</strong>——<strong>两者的梯度相同</strong>:∇_θ E‖v_θ−v_cond‖²=∇_θ E‖v_θ−v_marginal‖²(在 v_θ 对所有 (x,t) 的期望意义上)。<strong>证明思路</strong>——(a) 展开损失:E‖v_θ‖²−2E⟨v_θ,v_cond⟩+E‖v_cond‖²;(b) 第三项与 θ 无关;第二项中 <strong>E[v_cond|x_t=x]</strong>(给定 x_t 时的条件速度期望)<strong>恰好等于 v_marginal(x,t)</strong>(因为边缘流是条件流的'条件期望');(c) 故'用 v_cond 做回归'与'用 v_marginal 做回归'对 θ 的梯度相同。<strong>直觉</strong>——'用条件速度的平均'就是'边缘速度';故用可采样的条件速度训练,等价于用不可计算的边缘速度训练。<strong>条件路径的选择</strong>——(a) <strong>直线路径</strong>(x_t=(1−t)x_0+tx_1)——最简单、速度恒定;(b) <strong>扩散路径</strong>(x_t=√ᾱ_t x_0+√(1−ᾱ_t)ε)——等价于扩散(FM 与扩散统一);(c) <strong>OT 路径(最优传输)</strong>——使路径'尽量不交叉'(见 OT 题);(d) <strong>VP/VE 路径</strong>(方差保持/爆炸)。<strong>选择的影响</strong>——(a) 影响'路径的直度'(→ 采样步数);(b) 影响'训练目标的方差'(某些路径的 v_cond 方差更大);(c) 影响'与预训练模型的兼容性'。<strong>实践</strong>——(a) FM 训练时<strong>随机采 t 与配对</strong>、回归 v_cond(简单高效);(b) 推理时用 ODE 求解器积分;(c) 条件路径可选(SD3 用'logit-normal 时间采样 + 特定路径')。<strong>与 score matching 的关系</strong>——扩散的'去噪 score matching'也是'条件回归等价于边缘回归'(E[∇log p(x_t|x_0)|x_t]=∇log p_t(x_t));故两者是同一思想的两种表述。
🏭 Production Trade-offs
深度剖析与工程权衡:① <strong>'条件期望 = 边缘量'是核心数学结构</strong>——FM 与 score matching 都依赖它;面试中能指出这一共性('用可计算的条件量替代不可计算的边缘量')是深度理解的标志。② <strong>'条件路径选择影响采样效率'</strong>——直线路径最易少步采样;扩散路径兼容预训练;OT 路径减少交叉。③ <strong>'与扩散的统一'</strong>——扩散可视为'特定条件路径(加噪路径)的 FM';故 FM 是更一般的框架(而扩散是特例)。④ <strong>'时间采样分布的影响'</strong>——训练时 t 的采样分布(均匀 vs logit-normal)影响'各时间步的训练权重',从而影响质量;SD3 用 logit-normal(偏向中间 t)。⑤ <strong>'训练目标的方差'</strong>——不同路径的 v_cond 方差不同(如'加噪路径'在 t 大时 v_cond 尺度大);这影响训练稳定性(与扩散的参数化问题同源)。⑥ <strong>面试要点</strong>——被问'条件 vs 边缘流匹配',应给出'<strong>边缘流不可计算(需整个分布)+ 条件流可采样 + 两者梯度相同(条件期望 = 边缘量)</strong>'与'<strong>条件路径可选(直线/扩散/OT)</strong>';能指出'与 score matching 的同一结构'是深度理解的标志。
⚠️ Common Interview Pitfalls
- ✕以为可以直接优化边缘流匹配(不可计算)
- ✕忽略条件路径选择对采样步数的影响
🎯 Interviewer Follow-ups
- ?为什么两者梯度相同?
- ?条件路径的选择如何影响结果?
📚
Associated Knowledge Base Guides & Mindmaps
Explore the comprehensive technical article, exam cards, and global architecture tree.