Latent Diffusion & DiT Architecture: 解释 adaLN-Zero 的条件注入机制。

Core Concept: 用条件生成 scale/shift 调制 LayerNorm，并把调制参数初始化为 0，使训练初始时条件分支为恒等（稳定训练）。

数学机理：<strong>adaLN（Adaptive LayerNorm）</strong>——用条件调制归一化层的参数：h←γ(t,c)⊙LN(h)+β(t,c)，其中 (a) <strong>LN(h)</strong> 是标准的层归一化；(b) <strong>γ、β</strong> 由条件 (t,c) 经一个小 MLP 生成（每个 block 有自己的一组 γ、β）；(c) 由于是<strong>逐元素</strong>的 scale/shift，故能对每个通道做'条件相关的调整'。<strong>与标准条件注入的对比</strong>——(a) <strong>加性嵌入</strong>（把 t 的嵌入加到每个位置）——简单但表达力弱（无法'缩放'）；(b) <strong>cross-attention</strong>——灵活（可处理变长条件）但计算贵；(c) <strong>adaLN</strong>——计算便宜（逐元素）、能'缩放'（比加性强），但只能做'全局调制'（所有位置同一组 γ、β）。<strong>adaLN-Zero 的关键技巧</strong>——把 γ、β（以及残差门控 α）的<strong>输出层初始化为 0</strong>：故训练<strong>开始时</strong> γ=0、β=0，使 h←0⊙LN(h)+0=h，即<strong>条件分支为恒等映射</strong>。<strong>为什么这能稳定训练</strong>——(a) <strong>从'无条件'开始</strong>——初始时模型等价于'无条件扩散模型'（条件不影响），故模型先学'生成合理图像'这一基础任务；(b) <strong>渐进引入条件</strong>——随着训练，γ、β 从 0 逐渐变为非零，条件的影响<strong>平滑地</strong>引入（而非一开始就'干扰'）；(c) <strong>避免'条件分支的随机初始化破坏主分支'</strong>——若 γ、β 随机初始化，则初始时条件会'污染'每个 block 的输出，导致训练不稳；(d) 这与 <strong>ResNet 的零初始化残差分支</strong>、<strong>LoRA 的 B 初始化为 0</strong>、<strong>GLU 的门控初始化</strong>是同一思想（'让新模块从恒等开始'）。<strong>实证</strong>——DiT 论文报告 adaLN-Zero 显著优于其他条件注入方式（in-context conditioning、cross-attention、adaLN 无 Zero）；且'Zero'的初始化是效果提升的关键（消融显示去掉 Zero 后质量下降）。<strong>其他应用</strong>——(a) <strong>DiT 的每个 block</strong> 都用 adaLN-Zero（注入 t 与类别/池化文本）；(b) <strong>MMDiT（SD3）</strong> 也用 adaLN-Zero 注入时间步；(c) <strong>视频/3D 扩散</strong>同样用。<strong>局限</strong>——adaLN 只能做<strong>全局调制</strong>（所有位置同一组 γ、β）；对'需要空间对齐的细粒度条件'（如文本的每个词对应不同区域）表达力不足；故 (a) SD3/Flux 在 adaLN 之外<strong>加了 cross-attention</strong>（用于文本条件）；(b) 这形成'adaLN（全局条件）+ cross-attention（细粒度条件）'的组合。

深度剖析与工程权衡：① <strong>'零初始化 = 从恒等开始'是通用技巧</strong>——它出现在 ResNet、LoRA、GLU、adaLN-Zero 中；面试中能指出这一共性（'让新模块初始为恒等，避免破坏主分支'）是深度理解的标志。② <strong>'渐进引入条件'提升稳定性</strong>——条件的影响从 0 平滑增加；这避免了'随机初始化的条件分支污染主分支'。③ <strong>'adaLN 只能全局调制'的局限</strong>——对'细粒度空间条件'（文本的逐词对齐、控制图）不足；故需 cross-attention 或额外模块。④ <strong>'计算便宜'的工程价值</strong>——adaLN 只是逐元素操作（无注意力），故在 DiT 中'几乎免费'；这使 DiT 能把'计算预算集中在自注意力与 FFN 上'。⑤ <strong>'条件生成 γ/β 的 MLP'的规模</strong>——通常很小（几层）；但每个 block 一组（故总量与层数成正比）。⑥ <strong>面试要点</strong>——被问'adaLN-Zero 是什么'，应给出'<strong>条件调制 LayerNorm（γ、β）+ 初始化为 0 使条件分支恒等 + 渐进引入条件</strong>'与'<strong>只能全局调制（细粒度条件需 cross-attention）</strong>'；能指出'与 ResNet/LoRA 零初始化同源'是深度理解的标志。