M10-014M10: 工程深度 BQ 与项目答辩AI Infra 系统排障与深度 BQHard
⚡闪卡盲测➔掌握度:

【AI Infra 性能调优】讲清楚你在推理/训练引擎中做过的一次真实 Roofline 瓶颈榨干优化实战

🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
下一题: M10-015 →
📐 核心数学机理公式
Cost/Million Tok↓  ⟺  Prefill Compute Bound+Decode Batch Saturation\text{Cost/Million Tok} \downarrow \iff \text{Prefill Compute Bound} + \text{Decode Batch Saturation}
⚡ 一句话直击要害答案
展现全栈性能剖析素养:从 Nsight Systems 发现主机 Python Launch Bound / HBM 访存墙,经过 CUDA Graph、FP8 量化、Operator Fusion 把吞吐翻倍并给出精准对比数据。

📌 核心要点提炼

  • •
    Profiling 起手式:绝不猜性能!拉 Nsight Systems Trace 发现 GPU Kernel 之间存在大量蓝色空白间隙——典型 CPU Python Launch Overhead 瓶颈
  • •
    优化动作 1(消除 CPU 开销):开启 CUDA Graphs 捕获静态 Decode 图一步下发全部 Kernel,消掉小 Batch 下 ~40% 主机调度延迟
  • •
    优化动作 2(越过访存墙):针对 Decode HBM 读取瓶颈引入 W8A8 FP8 / AWQ 4-bit 与 RMSNorm+Residual+RoPE Triton 融合算子减少两次完整 HBM 往返读写
  • •
    验证复盘:给出严谨吞吐数字对照(例如 H100 单卡输出从 1,100 tok/s 拉升至 2,450 tok/s 且 P99 TPOT 稳定 < 25ms)

📐 数学机理与严密推导

性能优化永远服从 Amdahl's Law:如果 Profiling 显示 55% 时间耗在 Python Tokenization、JSON 序列化或网络拷贝,再去死磕重写某个占 3% 时间的 Matrix Kernel 收效微乎其微。

🏭 深度剖析与工业落地权衡

在接入 CUDA Graph 之前务必处理变长输入带来的图爆炸:只需将常见的 Batch Size 分档(1, 2, 4, 8, 16, 32, 64)预捕获,运行时向下对齐最近档位即可零重捕获跑完动态请求。
⚠️ 常见面试陷阱与高频失分点
  • ✕
    还没运行 Profiler 直接主观猜测去改 PyTorch 算子结果压根没打在瓶颈处
  • ✕
    盲目打开 CUDA Graph 却漏了内部隐含动态形状控制流或主机同步拷贝 (.cpu()) 引发运行时直接崩溃
🎯 面试官连环追问与延伸考察
  • ?
    在开启 Continuous Batching 与 PagedAttention 的条件下,为什么每个 Step 的物理 Block 数目都在变但 CUDA Graph 依然能兼容?
  • ?
    在自定义 Triton Kernel 里你是怎样调整 BLOCK_M/N/K 与 num_warps 避免 Register Spilling 的?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
📚

关联知识库专题与交互式导图

← 上一题M10-013: 【AI Infra 极限排障】万卡/千卡分布式训练或高并发 vLLM 突然无报错 Silent Hang 或 OOM 怎么一步步破案?📋 返回题库下一题 →M10-015: 【AI Infra 高可用与容错】万卡集群每几小时必坏一张卡,怎么设计几乎不打断训练的自动容错架构?