D5EasyPart D · 注意力机制与 Transformer 核心组件

Cross-Attention 跨模态/跨序列注意力

⚡闪卡盲测➔

Query 来自解码器/当前序列,Key 与 Value 来自编码器/跨模态提示条件,文本生成与 Diffusion 条件注入基石。

⏱️ 时间复杂度: O(B * S_q * S_kv * D)
💾 空间复杂度: O(B * H * S_q * S_kv)
🎯 免登录实战自测闭环(先做再看答案)
按「机制回忆 → 关键行填空 → 边界反例 → 追问与错题记录」顺序自测,进度自动保存在本地。
Step 1 · 机制口述与数值稳定性自检
Step 2 · 核心代码关键行补全
import numpy as np
def cross_attention(
x_query: np.ndarray, # (B, S_q, D) 解码器序列
x_context: np.ndarray, # (B, S_kv, D) 编码器/文本提示序列
W_q: np.ndarray, # (D, D)
W_k: np.ndarray, # (D, D)
W_v: np.ndarray, # (D, D)
W_o: np.ndarray, # (D, D)
num_heads: int = 4
) -> np.ndarray:
B, S_q, D = x_query.shape
S_kv = x_context.shape[1]
d_k =
# 1. 分别从不同来源投影 Q 与 K, V
Q = (x_query @ W_q).reshape(B, S_q, num_heads, d_k).swapaxes(1, 2)
K = (x_context @ W_k).reshape(B, S_kv, num_heads, d_k).swapaxes(1, 2)
V = (x_context @ W_v).reshape(B, S_kv, num_heads, d_k).swapaxes(1, 2)
# 2. 点积相关度打分: (B, H, S_q, d_k) @ (B, H, d_k, S_kv) -> (B, H, S_q, S_kv)
scores = np.matmul(Q, K.swapaxes(-1, -2)) / np.sqrt(d_k)
# Cross-Attention 通常不使用因果掩码 (解码词可以看到编码端所有上下文)
scores_max = np.max(scores, axis=-1, keepdims=True)
attn = np.exp(scores - scores_max)
attn = attn / np.sum(attn, axis=-1, keepdims=True)
# 3. 聚合编码端信息
out = np.matmul(attn, V) # (B, H, S_q, d_k)
out = out.swapaxes(1, 2).reshape(B, S_q, D)
return
Step 3 · 反例与边界断言核对
Step 4 · 面试追问盲答与错题记录
Q1: 在 Encoder-Decoder 结构中,Self-Attention 与 Cross-Attention 的并行调度有何差异?
下一题: FlashAttention Online Softmax 概念手撕(分块增量归一化) →
💡

实战一句话记忆口诀

Q 来自当前,KV 取自外援,长短不同不要紧,跨模点积全拉齐

📐 核心数学公式与机理推导

Q=XdecWQ,K=XencWK,V=XencWVQ = X_{\text{dec}} W_Q, \quad K = X_{\text{enc}} W_K, \quad V = X_{\text{enc}} W_V
### 双序列对齐几何机理
与 Self-Attention(Q,K,VQ, K, V 来源于同一个输入序列 XX)不同,Cross-Attention 处理两个异构序列:
- Query 序列:来自当前任务的生成主体(如机器翻译的 Target 解码器序列,或 Diffusion 模型中的图像潜在特征 Latent),形状为 (B,Sq,D)(B, S_q, D);
- Key 与 Value 序列:来自提供外部先验的上下文(如编码器的 Source 语言序列,或 CLIP/T5 提取的文本 Prompt 嵌入),形状为 (B,Skv,D)(B, S_{kv}, D)。
通过 QK⊤Q K^\top,使得每一个解码端的目标 Token 可以针对性地检索、提取编码端中最相关的条件语义信息。

🔄 张量维度与形状流转说明

x_q: (B, Sq, D), x_ctx: (B, Skv, D) -> Q: (B, H, Sq, Dk), K/V: (B, H, Skv, Dk) -> 点积: (B, H, Sq, Skv) -> @ V -> (B, Sq, D)

🛡️ 数值稳定性自检与边界要点

  • S_q 与 S_kv 长度可以完全不同,点积矩阵形状为 (S_q, S_kv)
  • 编码器/上下文如果是可变长序列(如带 Padding 的文本),需要传入 context_mask 遮蔽无意义填充
  • 在 Stable Diffusion 中,Cross-Attention 是将文本 Token 注入 U-Net 图像特征的关键模块

💻 完整参考代码实现

import numpy as np

def cross_attention(
    x_query: np.ndarray,     # (B, S_q, D) 解码器序列
    x_context: np.ndarray,   # (B, S_kv, D) 编码器/文本提示序列
    W_q: np.ndarray,         # (D, D)
    W_k: np.ndarray,         # (D, D)
    W_v: np.ndarray,         # (D, D)
    W_o: np.ndarray,         # (D, D)
    num_heads: int = 4
) -> np.ndarray:
    B, S_q, D = x_query.shape
    S_kv = x_context.shape[1]
    d_k = D // num_heads
    
    # 1. 分别从不同来源投影 Q 与 K, V
    Q = (x_query @ W_q).reshape(B, S_q, num_heads, d_k).swapaxes(1, 2)
    K = (x_context @ W_k).reshape(B, S_kv, num_heads, d_k).swapaxes(1, 2)
    V = (x_context @ W_v).reshape(B, S_kv, num_heads, d_k).swapaxes(1, 2)
    
    # 2. 点积相关度打分: (B, H, S_q, d_k) @ (B, H, d_k, S_kv) -> (B, H, S_q, S_kv)
    scores = np.matmul(Q, K.swapaxes(-1, -2)) / np.sqrt(d_k)
    
    # Cross-Attention 通常不使用因果掩码 (解码词可以看到编码端所有上下文)
    scores_max = np.max(scores, axis=-1, keepdims=True)
    attn = np.exp(scores - scores_max)
    attn = attn / np.sum(attn, axis=-1, keepdims=True)
    
    # 3. 聚合编码端信息
    out = np.matmul(attn, V)  # (B, H, S_q, d_k)
    out = out.swapaxes(1, 2).reshape(B, S_q, D)
    return out @ W_o

🧪 本地测试与正确性断言

可直接复制到本地 Python / Jupyter 验证:

import numpy as np
B, Sq, Skv, D = 2, 5, 12, 16
x_q = np.random.randn(B, Sq, D)
x_ctx = np.random.randn(B, Skv, D)
W = np.random.randn(D, D) * 0.02
out = cross_attention(x_q, x_ctx, W, W, W, W, num_heads=4)
assert out.shape == (B, Sq, D), f"输出形状应匹配 Query 长度: {out.shape}"
print("✓ Cross-Attention 跨模态注意力自测通过")

🎯 核心工程追问与标准应答

Q1:在 Encoder-Decoder 结构中,Self-Attention 与 Cross-Attention 的并行调度有何差异?
在自回归推断时,Encoder 的输出只需在 Prefill 阶段跑一次并作为静态常量,其产生的 Key 和 Value 整个解码过程固定不变;而 Decoder 的 Masked Self-Attention 每步都要接收新 Token 并增量更新自回归 KV 缓存。
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
← 上一题: KV Cache 自回归生成推理(增量更新与状态拼接)返回 Part D 与全部 105 题下一题: FlashAttention Online Softmax 概念手撕(分块增量归一化) →