M6-075M6: Multimodal & Generative ModelsFlow Matching & Rectified FlowHard
Mastery:
Flow Matching & Rectified Flow: 解释 Flow Matching 与 Diffusion 的统一视角。
📐 Mathematical Definition
⚡ Executive Summary
Core Concept: 两者都是'学一个把噪声输运到数据的场':扩散用加噪路径 + score,FM 用任意路径 + 速度场;可互相转换。
📌 Key Takeaways
- •统一为'ODE/SDE + 场':扩散学 score、FM 学速度
- •两者通过 v=f−½g²∇log p 互相转换
- •差异在'路径选择'与'目标参数化',而非框架
📐 Mathematical Derivations
数学机理:<strong>统一框架</strong>——(1) <strong>共同的数学结构</strong>——两者都定义'把噪声分布输运到数据分布'的过程,可用 <strong>ODE</strong>(确定性)或 <strong>SDE</strong>(随机)描述:dx=v(x,t)dt(ODE)或 dx=f(x,t)dt+g(t)dW(SDE);生成即'从噪声积分到数据'。(2) <strong>两个场的对应</strong>——(a) <strong>扩散</strong>学 <strong>score</strong> ∇log p_t(x)(通过 ε/v/x_0-prediction);(b) <strong>FM</strong>学 <strong>速度场</strong> v(x,t);(c) <strong>关系</strong>:v=f(x,t)−½g²(t)·∇log p_t(来自 SDE/ODE 的转换),即'速度 = 漂移 − ½扩散系数² × score'。(3) <strong>路径的差异</strong>——(a) <strong>扩散</strong>的路径由'加噪调度'决定(x_t=√ᾱ_t x_0+√(1−ᾱ_t)ε)——<strong>弯曲</strong>(非直线);(b) <strong>FM</strong>可定义<strong>任意路径</strong>(含直线、OT 路径)——故可优化'路径直度'(→ 少步)。(4) <strong>目标参数化的差异</strong>——(a) 扩散需选 ε/v/x_0-prediction(因为不同 SNR 区间难度不同);(b) FM 的直线路径目标是常数(x_1−x_0)——<strong>更简单</strong>。(5) <strong>训练损失的等价性</strong>——对同一路径,'score matching 损失'与'FM 损失'<strong>等价</strong>(因为两个场有线性关系);故两者的'训练'本质相同。<strong>统一视角的实用价值</strong>——(a) <strong>理论统一</strong>——不必区分'扩散派'与'FM 派'(它们是同一框架的特例);(b) <strong>技术迁移</strong>——采样器(SDE/ODE 求解器)、引导(CFG)、参数化、量化都可在两者间迁移;(c) <strong>路径设计空间</strong>——统一视角下,'选路径'成为明确的设计维度(直线/OT/扩散/VP/VE);(d) <strong>模型互转</strong>——可从扩散模型转 FM(或反之),便于复用预训练权重。<strong>为什么现代模型倾向 FM</strong>——(a) <strong>训练目标更简单</strong>(常数目标、无参数化难题);(b) <strong>路径可设计</strong>(直线/OT → 少步采样);(c) <strong>与扩散等价</strong>(无功能损失);(d) <strong>实证</strong>——SD3、Flux、以及多数新模型用 FM(rectified flow)。<strong>更一般的框架</strong>——(a) <strong>随机插值(Stochastic Interpolants)</strong>——用'插值 + 噪声'统一描述(包含扩散与 FM);(b) <strong>基于流的生成模型(Flow-based)</strong>——连续归一化流(CNF)的一般理论。<strong>实践建议</strong>——(a) <strong>新项目</strong> → FM(rectified flow,训练简单 + 少步友好);(b) <strong>复用已有扩散模型</strong> → 用扩散路径的 FM(等价);(c) <strong>理解理论</strong> → 用统一视角(SDE/ODE + 场)。<strong>度量</strong>——(a) 步数 vs 质量;(b) 训练稳定性;(c) 与已有生态的兼容性。
🏭 Production Trade-offs
深度剖析与工程权衡:① <strong>'两者是同一框架的特例'是核心认知</strong>——面试中能给出 v=f−½g²∇log p 的关系式并说明'差异在路径与参数化'是深度理解的标志。② <strong>'技术可迁移'是统一视角的实用价值</strong>——采样器、引导、量化等都通用;这降低了'换框架'的成本。③ <strong>'FM 训练更简单'是它流行的直接原因</strong>——常数目标、无参数化难题;这减少了调参负担。④ <strong>'路径可设计'是 FM 的独特优势</strong>——扩散的路径被'加噪调度'固定;FM 可选(直线/OT),从而优化少步采样。⑤ <strong>'等价性'避免'派系之争'</strong>——不必争论'扩散 vs FM'(同一框架);应根据'路径设计与工程便利'选择。⑥ <strong>面试要点</strong>——被问'FM 与扩散的关系',应给出'<strong>统一为 ODE/SDE + 场(扩散学 score、FM 学速度)+ v=f−½g²∇log p 互相转换 + 差异在路径与参数化</strong>'与'<strong>FM 训练更简单、路径可设计</strong>';能写出统一的关系式是深度理解的标志。
⚠️ Common Interview Pitfalls
- ✕把 FM 与扩散当作互斥的两种方法
- ✕忽略'路径设计'是 FM 的独特优势
🎯 Interviewer Follow-ups
- ?统一视角的实用价值?
- ?为什么现代模型倾向 FM?
📚
Associated Knowledge Base Guides & Mindmaps
Explore the comprehensive technical article, exam cards, and global architecture tree.