G5Medium★ 工业基石 (核心高频)Part G · 核心架构与微调技术
Pre-LN Transformer 残差块装配(完整层实现)
现代大模型标配层结构,将 LayerNorm/RMSNorm 置于注意力与 MLP 分支内部,主干保留无损纯净残差流。
⏱️ 时间复杂度:
O(B * S^2 * D + B * S * D^2)💾 空间复杂度:
O(B * S * D)🎯 免登录实战自测闭环(先做再看答案)
按「机制回忆 → 关键行填空 → 边界反例 → 追问与错题记录」顺序自测,进度自动保存在本地。
Step 1 · 机制口述与数值稳定性自检
Step 2 · 核心代码关键行补全
import numpy as np
def simple_layer_norm(x: np.ndarray, eps: float = 1e-5) -> np.ndarray:
mean =
var = np.var(x, axis=-1, keepdims=True)
return (x - mean) / np.sqrt(var + eps)
class PreLNTransformerBlock:
def __init__(self, d_model: int):
self.d_model = d_model
# 简化版自注意力与 MLP 投影矩阵
self.W_attn = np.random.randn(d_model, d_model) * 0.02
self.W_mlp1 = np.random.randn(d_model, 4 * d_model) * 0.02
self.W_mlp2 = np.random.randn(4 * d_model, d_model) * 0.02
def forward(self, x: np.ndarray) -> np.ndarray:
"""
x: (B, S, D)
"""
# 1. 第一个 Pre-LN 子层: Attention
norm_x1 = simple_layer_norm(x)
# 模拟注意力计算
attn_out = norm_x1 @ self.W_attn
# 残差相加
x = x + attn_out
# 2. 第二个 Pre-LN 子层: MLP
norm_x2 = simple_layer_norm(x)
# GELU / ReLU 模拟
hidden = np.maximum(0, norm_x2 @ self.W_mlp1)
mlp_out = hidden @ self.W_mlp2
# 残差相加
x =
return x
Step 3 · 反例与边界断言核对
Step 4 · 面试追问盲答与错题记录
Q1: DeepSeek-V2 / LLaMA 中的 RMSNorm 是如何与 Pre-LN 结合的?
💡
实战一句话记忆口诀
分支内部先归一,算完残差直接加,主干直通常通流,梯度坦途百层宽
📐 核心数学公式与机理推导
### 残差流(Residual Stream)与梯度高速公路
在 Vaswani 原版 Transformer 中采用的是 Post-LN:
深层网络中反向传播梯度经过多次非线性归一化缩放,导致底层的反向梯度模长呈指数级衰减,如果不配置漫长的 Warmup 训练必定在最初几百步发散。
Pre-LN 架构:
展开后整个深层网络的主干形成了一条贯穿始终的线性叠加信道:
梯度在反传时拥有一条完全无衰减的恒等映射高速公路(Gradient Highway),使得上百层超深大模型无需学习率 Warmup 也能极其平稳收敛。
在 Vaswani 原版 Transformer 中采用的是 Post-LN:
深层网络中反向传播梯度经过多次非线性归一化缩放,导致底层的反向梯度模长呈指数级衰减,如果不配置漫长的 Warmup 训练必定在最初几百步发散。
Pre-LN 架构:
展开后整个深层网络的主干形成了一条贯穿始终的线性叠加信道:
梯度在反传时拥有一条完全无衰减的恒等映射高速公路(Gradient Highway),使得上百层超深大模型无需学习率 Warmup 也能极其平稳收敛。
🔄 张量维度与形状流转说明
x: (B, S, D) -> LN -> Attn -> + x -> LN -> MLP -> + x -> out: (B, S, D)
🛡️ 数值稳定性自检与边界要点
- Pre-LN 架构在 Transformer 输出最终分类器之前,必须在最末尾补齐一个最后的 Final LayerNorm(如 norm_f),否则主干方差会随层数累加
- 所有归一化均在分支内部完成,残差相加的另一端必须保持纯净输入
💻 完整参考代码实现
import numpy as np
def simple_layer_norm(x: np.ndarray, eps: float = 1e-5) -> np.ndarray:
mean = np.mean(x, axis=-1, keepdims=True)
var = np.var(x, axis=-1, keepdims=True)
return (x - mean) / np.sqrt(var + eps)
class PreLNTransformerBlock:
def __init__(self, d_model: int):
self.d_model = d_model
# 简化版自注意力与 MLP 投影矩阵
self.W_attn = np.random.randn(d_model, d_model) * 0.02
self.W_mlp1 = np.random.randn(d_model, 4 * d_model) * 0.02
self.W_mlp2 = np.random.randn(4 * d_model, d_model) * 0.02
def forward(self, x: np.ndarray) -> np.ndarray:
"""
x: (B, S, D)
"""
# 1. 第一个 Pre-LN 子层: Attention
norm_x1 = simple_layer_norm(x)
# 模拟注意力计算
attn_out = norm_x1 @ self.W_attn
# 残差相加
x = x + attn_out
# 2. 第二个 Pre-LN 子层: MLP
norm_x2 = simple_layer_norm(x)
# GELU / ReLU 模拟
hidden = np.maximum(0, norm_x2 @ self.W_mlp1)
mlp_out = hidden @ self.W_mlp2
# 残差相加
x = x + mlp_out
return x
🧪 本地测试与正确性断言
可直接复制到本地 Python / Jupyter 验证:
import numpy as np
block = PreLNTransformerBlock(d_model=16)
x = np.random.randn(2, 4, 16)
out = block.forward(x)
assert out.shape == (2, 4, 16)
assert not np.isnan(out).any()
print("✓ Pre-LN Transformer 残差块装配自测通过")🎯 核心工程追问与标准应答
Q1:DeepSeek-V2 / LLaMA 中的 RMSNorm 是如何与 Pre-LN 结合的?
它们将结构中的标准 LayerNorm 全部替换为纯均方根缩放的 RMSNorm,并在 Transformer 最末端保留了一个额外的 final_rmsnorm,既获得了 Pre-LN 的梯度稳定性,又削减了均值计算的内存带宽消耗。
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!