G5Medium★ 工业基石 (核心高频)Part G · 核心架构与微调技术

Pre-LN Transformer 残差块装配(完整层实现)

⚡闪卡盲测➔

现代大模型标配层结构,将 LayerNorm/RMSNorm 置于注意力与 MLP 分支内部,主干保留无损纯净残差流。

⏱️ 时间复杂度: O(B * S^2 * D + B * S * D^2)
💾 空间复杂度: O(B * S * D)
🎯 免登录实战自测闭环(先做再看答案)
按「机制回忆 → 关键行填空 → 边界反例 → 追问与错题记录」顺序自测,进度自动保存在本地。
Step 1 · 机制口述与数值稳定性自检
Step 2 · 核心代码关键行补全
import numpy as np
def simple_layer_norm(x: np.ndarray, eps: float = 1e-5) -> np.ndarray:
mean =
var = np.var(x, axis=-1, keepdims=True)
return (x - mean) / np.sqrt(var + eps)
class PreLNTransformerBlock:
def __init__(self, d_model: int):
self.d_model = d_model
# 简化版自注意力与 MLP 投影矩阵
self.W_attn = np.random.randn(d_model, d_model) * 0.02
self.W_mlp1 = np.random.randn(d_model, 4 * d_model) * 0.02
self.W_mlp2 = np.random.randn(4 * d_model, d_model) * 0.02
def forward(self, x: np.ndarray) -> np.ndarray:
"""
x: (B, S, D)
"""
# 1. 第一个 Pre-LN 子层: Attention
norm_x1 = simple_layer_norm(x)
# 模拟注意力计算
attn_out = norm_x1 @ self.W_attn
# 残差相加
x = x + attn_out
# 2. 第二个 Pre-LN 子层: MLP
norm_x2 = simple_layer_norm(x)
# GELU / ReLU 模拟
hidden = np.maximum(0, norm_x2 @ self.W_mlp1)
mlp_out = hidden @ self.W_mlp2
# 残差相加
x =
return x
Step 3 · 反例与边界断言核对
Step 4 · 面试追问盲答与错题记录
Q1: DeepSeek-V2 / LLaMA 中的 RMSNorm 是如何与 Pre-LN 结合的?
下一题: ViT Patch Embedding(图片切片投影与序列化) →
💡

实战一句话记忆口诀

分支内部先归一,算完残差直接加,主干直通常通流,梯度坦途百层宽

📐 核心数学公式与机理推导

x=x+MHA(LN(x)),x=x+MLP(LN(x))x = x + \mathrm{MHA}(\mathrm{LN}(x)), \quad x = x + \mathrm{MLP}(\mathrm{LN}(x))
### 残差流(Residual Stream)与梯度高速公路
在 Vaswani 原版 Transformer 中采用的是 Post-LN:
x=LN(x+SubLayer(x))x = \mathrm{LN}(x + \mathrm{SubLayer}(x))
深层网络中反向传播梯度经过多次非线性归一化缩放,导致底层的反向梯度模长呈指数级衰减,如果不配置漫长的 Warmup 训练必定在最初几百步发散。
Pre-LN 架构:
xl+1=xl+SubLayer(LN(xl))x_{l+1} = x_l + \mathrm{SubLayer}(\mathrm{LN}(x_l))
展开后整个深层网络的主干形成了一条贯穿始终的线性叠加信道:
xL=x0+∑l=0L−1SubLayer(LN(xl))x_L = x_0 + \sum_{l=0}^{L-1} \mathrm{SubLayer}(\mathrm{LN}(x_l))
梯度在反传时拥有一条完全无衰减的恒等映射高速公路(Gradient Highway),使得上百层超深大模型无需学习率 Warmup 也能极其平稳收敛。

🔄 张量维度与形状流转说明

x: (B, S, D) -> LN -> Attn -> + x -> LN -> MLP -> + x -> out: (B, S, D)

🛡️ 数值稳定性自检与边界要点

  • Pre-LN 架构在 Transformer 输出最终分类器之前,必须在最末尾补齐一个最后的 Final LayerNorm(如 norm_f),否则主干方差会随层数累加
  • 所有归一化均在分支内部完成,残差相加的另一端必须保持纯净输入

💻 完整参考代码实现

import numpy as np

def simple_layer_norm(x: np.ndarray, eps: float = 1e-5) -> np.ndarray:
    mean = np.mean(x, axis=-1, keepdims=True)
    var = np.var(x, axis=-1, keepdims=True)
    return (x - mean) / np.sqrt(var + eps)

class PreLNTransformerBlock:
    def __init__(self, d_model: int):
        self.d_model = d_model
        # 简化版自注意力与 MLP 投影矩阵
        self.W_attn = np.random.randn(d_model, d_model) * 0.02
        self.W_mlp1 = np.random.randn(d_model, 4 * d_model) * 0.02
        self.W_mlp2 = np.random.randn(4 * d_model, d_model) * 0.02
        
    def forward(self, x: np.ndarray) -> np.ndarray:
        """
        x: (B, S, D)
        """
        # 1. 第一个 Pre-LN 子层: Attention
        norm_x1 = simple_layer_norm(x)
        # 模拟注意力计算
        attn_out = norm_x1 @ self.W_attn
        # 残差相加
        x = x + attn_out
        
        # 2. 第二个 Pre-LN 子层: MLP
        norm_x2 = simple_layer_norm(x)
        # GELU / ReLU 模拟
        hidden = np.maximum(0, norm_x2 @ self.W_mlp1)
        mlp_out = hidden @ self.W_mlp2
        # 残差相加
        x = x + mlp_out
        
        return x

🧪 本地测试与正确性断言

可直接复制到本地 Python / Jupyter 验证:

import numpy as np
block = PreLNTransformerBlock(d_model=16)
x = np.random.randn(2, 4, 16)
out = block.forward(x)
assert out.shape == (2, 4, 16)
assert not np.isnan(out).any()
print("✓ Pre-LN Transformer 残差块装配自测通过")

🎯 核心工程追问与标准应答

Q1:DeepSeek-V2 / LLaMA 中的 RMSNorm 是如何与 Pre-LN 结合的?
它们将结构中的标准 LayerNorm 全部替换为纯均方根缩放的 RMSNorm,并在 Transformer 最末端保留了一个额外的 final_rmsnorm,既获得了 Pre-LN 的梯度稳定性,又削减了均值计算的内存带宽消耗。
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
← 上一题: adaLN-Zero(DiT 扩散模型条件注入)返回 Part G 与全部 105 题下一题: ViT Patch Embedding(图片切片投影与序列化) →