Q1Medium★ AI Infra / NVIDIA / 推理性能优化 · 必考Part Q · AI Infra 硬件算力与显存调度算子

GPU Roofline 计算强度与 Ridge Point 瓶颈诊断器

⚡闪卡盲测➔

根据硬件峰值 FLOPS 与 HBM 带宽计算硬件拐点 Ridge Point,定量诊断任意 GEMM 是 Memory-Bound(Decode)还是 Compute-Bound(Prefill)。

⏱️ 时间复杂度: O(1)
💾 空间复杂度: O(1)
🎯 免登录实战自测闭环(先做再看答案)
按「机制回忆 → 关键行填空 → 边界反例 → 追问与错题记录」顺序自测,进度自动保存在本地。
Step 1 · 机制口述与数值稳定性自检
Step 2 · 核心代码关键行补全
def roofline_gemm_analysis(M: int, N: int, K: int, peak_tflops: float, hbm_bw_tbs: float, dtype_bytes: int = 2) -> dict:
flops =
bytes_moved = float((M * K + K * N + M * N) * dtype_bytes)
intensity = flops / max(bytes_moved, 1.0)
ridge_point = (peak_tflops * 1e12) / (hbm_bw_tbs * 1e12)
bound = "memory_bound" if intensity < ridge_point else "compute_bound"
t_compute_ms = flops / (peak_tflops * 1e12) * 1e3
t_memory_ms = bytes_moved / (hbm_bw_tbs * 1e12) * 1e3
return
Step 3 · 反例与边界断言核对
Step 4 · 面试追问盲答与错题记录
Q1: 为什么给 Decode 阶段用 FP8/AWQ 4-bit 权重量化哪怕增加反量化计算反而能大幅加速?
Q2: 为什么 Kernel Fusion 能在 FLOPs 完全不变的情况下明显提速?
下一题: 显存碎片压缩与 PagedAttention 页式零碎片设计对照 →
💡

实战一句话记忆口诀

2MNK 算 FLOP,读 A 读 B 写 C 算访存;M=1 Decode 必卡带宽,大 M Prefill 必卡算力

📐 核心数学公式与机理推导

$$I = \frac{\text{FLOPs}}{\text{Bytes}_{\text{HBM}}},\quad I_{\text{ridge}} = \frac{\text{Peak FLOPS}}{\text{Peak HBM Bandwidth}},\quad T_{\text{ideal}} = \max\left(\frac{\text{FLOPs}}{P_{\text{comp}}},\; \frac{\text{Bytes}}{B_{\text{mem}}}\right)$$
对于矩阵乘 (M,K)×(K,N)(M, K) \times (K, N):理论浮点运算为 2MNK2MNK,理想访存至少需要读 A,BA,B 写 CC 共 (MK+KN+MN)⋅b(MK+KN+MN) \cdot b 字节。在 Decode 单 Token 场景(M=1M=1)下计算强度 I≈2KN2(K+N+KN/K)≈1I \approx \frac{2KN}{2(K+N+KN/K)} \approx 1 FLOP/Byte,远低于 H100 的拐点 989/3.35≈295989/3.35 \approx 295,算力利用率不足 1%。

🔄 张量维度与形状流转说明

GEMM shape (M, N, K) + hardware specs -> arithmetic intensity & bottleneck classification

🛡️ 数值稳定性自检与边界要点

  • 严格区分 TFLOPS 与 TB/s 单位对齐(2 字节 FP16/BF16 vs 1 字节 FP8)
  • 实际内核还要考虑 L2 Cache 命中率及非对齐 TensorCore Padding 惩罚
  • 增大 Batch M 或合并小算子(Kernel Fusion)是跨越 Ridge Point 的核心工程手段

💻 完整参考代码实现

def roofline_gemm_analysis(M: int, N: int, K: int, peak_tflops: float, hbm_bw_tbs: float, dtype_bytes: int = 2) -> dict:
    flops = 2.0 * M * N * K
    bytes_moved = float((M * K + K * N + M * N) * dtype_bytes)
    intensity = flops / max(bytes_moved, 1.0)
    ridge_point = (peak_tflops * 1e12) / (hbm_bw_tbs * 1e12)
    bound = "memory_bound" if intensity < ridge_point else "compute_bound"
    t_compute_ms = flops / (peak_tflops * 1e12) * 1e3
    t_memory_ms = bytes_moved / (hbm_bw_tbs * 1e12) * 1e3
    return {"intensity": intensity, "ridge_point": ridge_point, "bound": bound, "ideal_ms": max(t_compute_ms, t_memory_ms)}

🧪 本地测试与正确性断言

可直接复制到本地 Python / Jupyter 验证:

# H100 approx: 989 TFLOPS FP16, 3.35 TB/s HBM -> ridge ~ 295 FLOP/byte
dec = roofline_gemm_analysis(M=1, N=4096, K=4096, peak_tflops=989.0, hbm_bw_tbs=3.35)
pre = roofline_gemm_analysis(M=2048, N=4096, K=4096, peak_tflops=989.0, hbm_bw_tbs=3.35)
assert dec['bound'] == 'memory_bound' and dec['intensity'] < 2.0
assert pre['bound'] == 'compute_bound' and pre['intensity'] > 600.0
print('Q1 PASS')

🎯 核心工程追问与标准应答

Q1:为什么给 Decode 阶段用 FP8/AWQ 4-bit 权重量化哪怕增加反量化计算反而能大幅加速?
Decode 处于强 Memory-Bound 区间(I << Ridge),省掉一半权重 HBM 搬运直接带来近线性加速,多出来的反量化指令完全被空闲 TensorCore/ALU 掩盖。
Q2:为什么 Kernel Fusion 能在 FLOPs 完全不变的情况下明显提速?
传统多个小算子依次写回再读取中间激活张量进出慢速 HBM;Fusion 把中间结果保留在高速 SRAM 寄存器内直接消费,大幅降低 Bytes_HBM,把算强往上拉。
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
← 上一题: 广告概率校准 Platt Scaling 与预期校准误差 ECE 算子返回 Part Q 与全部 105 题下一题: 显存碎片压缩与 PagedAttention 页式零碎片设计对照 →