D1Easy★ 工业基石 (核心高频)Part D · 注意力机制与 Transformer 核心组件

Scaled Dot-Product Attention 与因果掩码

⚡闪卡盲测➔

除以根号 d 保持方差稳定,融入上三角无穷大掩码阻断未来信息泄漏。

⏱️ 时间复杂度: O(B * H * S_q * S_k * D) 经典二次复杂度
💾 空间复杂度: O(B * H * S_q * S_k) 显存瓶颈所在
🎯 免登录实战自测闭环(先做再看答案)
按「机制回忆 → 关键行填空 → 边界反例 → 追问与错题记录」顺序自测,进度自动保存在本地。
Step 1 · 机制口述与数值稳定性自检
Step 2 · 核心代码关键行补全
import numpy as np
def scaled_dot_product_attention(
q: np.ndarray,
k: np.ndarray,
v: np.ndarray,
is_causal: bool = True
) -> np.ndarray:
"""
参数:
q: (B, H, S_q, D)
k: (B, H, S_k, D)
v: (B, H, S_k, D)
is_causal: 是否施加因果掩码 (S_q 必须等于 S_k)
返回:
out: (B, H, S_q, D)
"""
d_k = q.shape[-1]
# 1. 计算缩放点积分数 (B, H, S_q, D) @ (B, H, D, S_k) -> (B, H, S_q, S_k)
scores =
# 2. 注入因果掩码 (若需要)
if is_causal:
seq_len_q = q.shape[-2]
seq_len_k = k.shape[-2]
# 上三角为 True (未来信息需要被屏蔽)
mask = np.triu(np.ones((seq_len_q, seq_len_k), dtype=bool), k=1)
# 将被遮蔽区域赋为负无穷大
scores = np.where(mask, -1e9, scores)
# 3. 数值稳定 Softmax (减 max 归一化)
scores_max = np.max(scores, axis=-1, keepdims=True)
exp_scores = np.exp(scores - scores_max)
attn_weights = exp_scores / np.sum(exp_scores, axis=-1, keepdims=True)
# 4. 加权求和 (B, H, S_q, S_k) @ (B, H, S_k, D) -> (B, H, S_q, D)
return
Step 3 · 反例与边界断言核对
Step 4 · 面试追问盲答与错题记录
Q1: 在半精度(FP16)训练中,为什么掩码值不能设为 -1e30 或 float('-inf')?
下一题: Multi-Head Attention 多头注意力(MHA 分头与拼接) →
💡

实战一句话记忆口诀

除根号方差稳,上三角填负穷,加权乘 V 产表征

📐 核心数学公式与机理推导

Attention(Q,K,V)=softmax(QK⊤dk+M)V\mathrm{Attention}(Q, K, V) = \mathrm{softmax}\left(\frac{QK^\top}{\sqrt{d_k}} + M\right) V
### 缩放因子与掩码数学机制
假设 qq 和 kk 的各个分量是均值为 0、方差为 1 的独立同分布随机变量。
点积 q⋅k=∑i=1dkqikiq \cdot k = \sum_{i=1}^{d_k} q_i k_i 的均值为 0,方差为 ∑i=1dkVar(qiki)=dk\sum_{i=1}^{d_k} \mathrm{Var}(q_i k_i) = d_k。
当特征维度 dkd_k 很大时(如 64 或 128),点积绝对值极大,导致 Softmax 进入饱和极值区域,梯度接近于 0(梯度消失)。
除以 dk\sqrt{d_k} 使得输出方差重新归一化至 1.0。

因果下三角掩码(Causal Mask):
自回归语言模型中,位置 ii 不能看到位置 j>ij > i。掩码矩阵 MM 在 j>ij > i 处赋值为 −∞-\infty(在浮点计算中用 −1e9-1e9 或 −1e4-1e4 表示)。经过 Softmax 后 e−∞=0e^{-\infty} = 0,实现严格信息遮蔽。

🔄 张量维度与形状流转说明

(B, H, Sq, D) @ (B, H, D, Sk) -> (B, H, Sq, Sk) -> mask & softmax -> (B, H, Sq, Sk) @ (B, H, Sk, D) -> (B, H, Sq, D)

🛡️ 数值稳定性自检与边界要点

  • 因果掩码 np.triu 的对角线偏移参数 k=1,绝不能将自身主对角线(k=0)遮蔽
  • 掩码值使用 -1e9 或 -1e4(FP16 安全)而不是 np.nan
  • 除以 np.sqrt(d_k) 必须在加掩码之前完成

💻 完整参考代码实现

import numpy as np

def scaled_dot_product_attention(
    q: np.ndarray,
    k: np.ndarray,
    v: np.ndarray,
    is_causal: bool = True
) -> np.ndarray:
    """
    参数:
        q: (B, H, S_q, D)
        k: (B, H, S_k, D)
        v: (B, H, S_k, D)
        is_causal: 是否施加因果掩码 (S_q 必须等于 S_k)
    返回:
        out: (B, H, S_q, D)
    """
    d_k = q.shape[-1]
    # 1. 计算缩放点积分数 (B, H, S_q, D) @ (B, H, D, S_k) -> (B, H, S_q, S_k)
    scores = np.matmul(q, k.swapaxes(-1, -2)) / np.sqrt(d_k)
    
    # 2. 注入因果掩码 (若需要)
    if is_causal:
        seq_len_q = q.shape[-2]
        seq_len_k = k.shape[-2]
        # 上三角为 True (未来信息需要被屏蔽)
        mask = np.triu(np.ones((seq_len_q, seq_len_k), dtype=bool), k=1)
        # 将被遮蔽区域赋为负无穷大
        scores = np.where(mask, -1e9, scores)
        
    # 3. 数值稳定 Softmax (减 max 归一化)
    scores_max = np.max(scores, axis=-1, keepdims=True)
    exp_scores = np.exp(scores - scores_max)
    attn_weights = exp_scores / np.sum(exp_scores, axis=-1, keepdims=True)
    
    # 4. 加权求和 (B, H, S_q, S_k) @ (B, H, S_k, D) -> (B, H, S_q, D)
    return np.matmul(attn_weights, v)

🧪 本地测试与正确性断言

可直接复制到本地 Python / Jupyter 验证:

import numpy as np
B, H, S, D = 1, 1, 3, 4
q = np.random.randn(B, H, S, D)
k = np.random.randn(B, H, S, D)
v = np.random.randn(B, H, S, D)
out = scaled_dot_product_attention(q, k, v, is_causal=True)
assert out.shape == (B, H, S, D)
# 验证因果性:第 0 个输出只能看到第 0 个输入,改变第 1、2 个输入不影响 out[:, :, 0, :]
k_mod = k.copy()
k_mod[:, :, 1:, :] += 10.0
out_mod = scaled_dot_product_attention(q, k_mod, v, is_causal=True)
assert np.allclose(out[:, :, 0, :], out_mod[:, :, 0, :], atol=1e-5), "违反因果掩码隔离!"
print("✓ 缩放点积因果注意力自测通过")

🎯 核心工程追问与标准应答

Q1:在半精度(FP16)训练中,为什么掩码值不能设为 -1e30 或 float('-inf')?
FP16 的最大数值范围仅为 65504。当使用 -1e30 时直接导致浮点下溢饱和;而在使用 -inf 时,若整行全为 -inf(如全 Padding 行),(−inf−(−inf))(-inf - (-inf)) 会导致 NaN 迅速蔓延全网。工业实践普遍采用 -1e4 或 -65504.0。
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
← 上一题: RoPE 长度外推(NTK-Aware Scaled 动态基频缩放)返回 Part D 与全部 105 题下一题: Multi-Head Attention 多头注意力(MHA 分头与拼接) →