D6Hard★ 工业基石 (核心高频)Part D · 注意力机制与 Transformer 核心组件
FlashAttention Online Softmax 概念手撕(分块增量归一化)
Tri Dao 经典突破,SRAM 分块平铺计算与指数动量增量合并,避免向 HBM 回写 N×N 注意力矩阵。
⏱️ 时间复杂度:
O(S^2 * D) 计算量与标准注意力相当,但 I/O 访存次数减少为 1/Block_size💾 空间复杂度:
O(S * D) 彻底消除了 O(S^2) 的全局注意力矩阵存储🎯 免登录实战自测闭环(先做再看答案)
按「机制回忆 → 关键行填空 → 边界反例 → 追问与错题记录」顺序自测,进度自动保存在本地。
Step 1 · 机制口述与数值稳定性自检
Step 2 · 核心代码关键行补全
import numpy as np
def online_softmax_block_simulation(
q: np.ndarray, # (S, D)
k: np.ndarray, # (S, D)
v: np.ndarray, # (S, D)
block_size: int = 2
) -> np.ndarray:
"""
FlashAttention 核心 Online Softmax 分块算法的纯 Python 标量模拟。
展示如何在不保存全量 S*S 矩阵的情况下精确计算 Attention 输出。
"""
S, D = q.shape
d_k = D
# 最终输出累加器与统计量跟踪
O = np.zeros((S, D), dtype=np.float64)
m =
l = np.zeros((S, 1)) # 当前累加分母 sum(exp)
# 外循环:遍历 Key 和 Value 的 Block
for j_start in range(0, S, block_size):
j_end = min(j_start + block_size, S)
K_block = k[j_start:j_end, :] # (Bc, D)
V_block = v[j_start:j_end, :] # (Bc, D)
# 内循环:遍历 Query 的 Block
for i_start in range(0, S, block_size):
i_end = min(i_start + block_size, S)
Q_block = q[i_start:i_end, :] # (Br, D)
# 1. 计算块内局部点积: (Br, D) @ (D, Bc) -> (Br, Bc)
S_ij = np.matmul(Q_block, K_block.T) / np.sqrt(d_k)
# 2. 块内当前统计量
m_prev = m[i_start:i_end, :]
l_prev = l[i_start:i_end, :]
O_prev = O[i_start:i_end, :]
# 局部最大值
m_ij = np.max(S_ij, axis=-1, keepdims=True)
m_new = np.maximum(m_prev, m_ij)
# 3. 缩放系数
p_prev = np.exp(m_prev - m_new)
p_curr = np.exp(S_ij - m_new)
l_curr = np.sum(p_curr, axis=-1, keepdims=True)
l_new = l_prev * p_prev + l_curr
# 4. 增量更新输出累加器
# O_new = (O_prev * (l_prev * p_prev) + p_curr @ V_block) / l_new
O_new =
# 回写全局状态 (实际在 SRAM 中完成)
m[i_start:i_end, :] = m_new
l[i_start:i_end, :] = l_new
O[i_start:i_end, :] = O_new
return O
Step 3 · 反例与边界断言核对
Step 4 · 面试追问盲答与错题记录
Q1: FlashAttention-2 相比 FlashAttention-1 做了哪些核心算法改进?
💡
实战一句话记忆口诀
外存不落大矩阵,分块塞进小 SRAM,最大值动态向右推,指数校正加权和
📐 核心数学公式与机理推导
### 分块在线增量归一化的数学原理
标准注意力最大的显存瓶颈在于必须在 GPU 显存(HBM)中实例化一个巨大的 中间矩阵,造成巨大的读写访存延迟(Memory I/O Bound)。
FlashAttention 借助 Milakov & Gimelshein 的 Online Softmax 算法:
将 划分为可以完全装入高速芯片内 SRAM 缓存的小 Block(如 )。
当处理完前一个分块,获得局部最大值 、局部归一化因子 和部分加权和 。
当读入下一个分块(局部最大值 )时,通过以下公式增量更新合并:
全程无需物化完整 矩阵,显存从 降至 ,显著减少 HBM 读写次数从而在长序列场景获得实际墙钟加速。
标准注意力最大的显存瓶颈在于必须在 GPU 显存(HBM)中实例化一个巨大的 中间矩阵,造成巨大的读写访存延迟(Memory I/O Bound)。
FlashAttention 借助 Milakov & Gimelshein 的 Online Softmax 算法:
将 划分为可以完全装入高速芯片内 SRAM 缓存的小 Block(如 )。
当处理完前一个分块,获得局部最大值 、局部归一化因子 和部分加权和 。
当读入下一个分块(局部最大值 )时,通过以下公式增量更新合并:
全程无需物化完整 矩阵,显存从 降至 ,显著减少 HBM 读写次数从而在长序列场景获得实际墙钟加速。
🔄 张量维度与形状流转说明
分块输入 Q_block, K_block, V_block -> SRAM 内计算局部 S_ij -> 动态计算 m_new 与 l_new -> 增量缩放合并 O_new -> 直接写回 HBM 输出
🛡️ 数值稳定性自检与边界要点
- 更新公式中前一轮输出需要乘以 (l_prev * p_prev) / l_new 进行重新归一化
- 初始化时 m 置为 -inf,l 置为 0
- 在反向传播时,FlashAttention 不保存中间注意力矩阵,而是重新执行一次单块前向(Recomputation),以计算时间换巨大的显存空间
💻 完整参考代码实现
import numpy as np
def online_softmax_block_simulation(
q: np.ndarray, # (S, D)
k: np.ndarray, # (S, D)
v: np.ndarray, # (S, D)
block_size: int = 2
) -> np.ndarray:
"""
FlashAttention 核心 Online Softmax 分块算法的纯 Python 标量模拟。
展示如何在不保存全量 S*S 矩阵的情况下精确计算 Attention 输出。
"""
S, D = q.shape
d_k = D
# 最终输出累加器与统计量跟踪
O = np.zeros((S, D), dtype=np.float64)
m = np.full((S, 1), -np.inf) # 当前已知最大值
l = np.zeros((S, 1)) # 当前累加分母 sum(exp)
# 外循环:遍历 Key 和 Value 的 Block
for j_start in range(0, S, block_size):
j_end = min(j_start + block_size, S)
K_block = k[j_start:j_end, :] # (Bc, D)
V_block = v[j_start:j_end, :] # (Bc, D)
# 内循环:遍历 Query 的 Block
for i_start in range(0, S, block_size):
i_end = min(i_start + block_size, S)
Q_block = q[i_start:i_end, :] # (Br, D)
# 1. 计算块内局部点积: (Br, D) @ (D, Bc) -> (Br, Bc)
S_ij = np.matmul(Q_block, K_block.T) / np.sqrt(d_k)
# 2. 块内当前统计量
m_prev = m[i_start:i_end, :]
l_prev = l[i_start:i_end, :]
O_prev = O[i_start:i_end, :]
# 局部最大值
m_ij = np.max(S_ij, axis=-1, keepdims=True)
m_new = np.maximum(m_prev, m_ij)
# 3. 缩放系数
p_prev = np.exp(m_prev - m_new)
p_curr = np.exp(S_ij - m_new)
l_curr = np.sum(p_curr, axis=-1, keepdims=True)
l_new = l_prev * p_prev + l_curr
# 4. 增量更新输出累加器
# O_new = (O_prev * (l_prev * p_prev) + p_curr @ V_block) / l_new
O_new = (O_prev * (l_prev * p_prev) + np.matmul(p_curr, V_block)) / l_new
# 回写全局状态 (实际在 SRAM 中完成)
m[i_start:i_end, :] = m_new
l[i_start:i_end, :] = l_new
O[i_start:i_end, :] = O_new
return O
🧪 本地测试与正确性断言
可直接复制到本地 Python / Jupyter 验证:
import numpy as np
S, D = 4, 8
q = np.random.randn(S, D)
k = np.random.randn(S, D)
v = np.random.randn(S, D)
# 1. 经典标准算法
scores = np.matmul(q, k.T) / np.sqrt(D)
probs = np.exp(scores - np.max(scores, axis=-1, keepdims=True))
probs /= np.sum(probs, axis=-1, keepdims=True)
std_out = np.matmul(probs, v)
# 2. Online Softmax 分块算法 (block_size=2)
flash_out = online_softmax_block_simulation(q, k, v, block_size=2)
assert np.allclose(std_out, flash_out, atol=1e-5), "分块结果与标准注意力不一致!"
print("✓ FlashAttention Online Softmax 分块模拟自测通过")🎯 核心工程追问与标准应答
Q1:FlashAttention-2 相比 FlashAttention-1 做了哪些核心算法改进?
1. 调整内外循环:将 Outer Loop 换为按 Query 分块,Inner Loop 按 Key/Value 循环,减少了对输出累加器 O 的频繁非原子写入;2. 延迟除法:在内循环中不重复除以 l_new,而是维护未除归一化常数的分子累加,在最外层结束时仅执行一次向量除法,减少了昂贵的除法指令。
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!