M10-013M10: 工程深度 BQ 与项目答辩AI Infra 系统排障与深度 BQHard
⚡闪卡盲测➔掌握度:

【AI Infra 极限排障】万卡/千卡分布式训练或高并发 vLLM 突然无报错 Silent Hang 或 OOM 怎么一步步破案?

🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
下一题: M10-014 →
📐 核心数学机理公式
Hang / OOM / P99 Spike→Nsight + Py-Spy + NCCL LogDeterministic Isolation\text{Hang / OOM / P99 Spike} \xrightarrow{\text{Nsight + Py-Spy + NCCL Log}} \text{Deterministic Isolation}
⚡ 一句话直击要害答案
AI Infra 最硬核面试追问:能清晰讲出从监控水位、进程堆栈(py-spy / gdb)、NCCL_DEBUG 日志、Nsight Trace 找到唯一慢卡或孤儿集体通信死锁的实操流程。

📌 核心要点提炼

  • •
    Silent Hang 定位:1) 看 nvidia-smi/DCGM 功耗与 GPU Util 是否掉成 0% 但显卡仍占满显存;2) 抓取全部节点 py-spy 堆栈对比哪几张 Rank 卡停留在不同行代码(条件分支漏调 all_reduce!);3) 开 TORCH_NCCL_ASYNC_ERROR_HANDLING=1 与 Flight Recorder 找首起超时链路
  • •
    硬件掉队(Slow Straggler / ECC):单机 PCIe 降速或散热降频拖慢整个 Ring AllReduce,用轻量点对点微基准环测试秒定位问题节点并隔离驱逐(Cordon & Drain)
  • •
    周期性内存 OOM 排查:利用 PyTorch Memory Snapshot (torch.cuda.memory._record_memory_history) 抓取峰值分配火焰图,甄别未释放的计算图引用(忘记 detach/item())或动态变长序列造成显存 Caching Allocator 极端碎片

📐 数学机理与严密推导

记住这个分布式调试铁律:凡是集体死锁,问题一定不在全部机器一起发疯,而在于 Rank `i` 与 Rank `j` 走了不同代码分支,或某单一网卡/光模块发生隐性丢包 PFC Pause 风暴。

🏭 深度剖析与工业落地权衡

生产集群训练必须常态化挂上自动化 Health Check Cron:每轮 Epoch 间或节点拉起前秒跑一次 NCCL AllReduce Bandwidth 体检,不及格硬件提前剔出调度池。
⚠️ 常见面试陷阱与高频失分点
  • ✕
    死等 PyTorch NCCL Timeout 30 分钟什么日志没看直接瞎重启整组任务,下一次照样半夜挂在原地
  • ✕
    忘记在记录 Loss 监控字典时写 loss.item() 或 .detach() 致使把整个反向计算图一路攒在内存列表里
🎯 面试官连环追问与延伸考察
  • ?
    遇到 InfiniBand RoCE 网络出现 PFC(Priority Flow Control)Deadlock 死锁或者重传率飙升怎么通过硬件计数器定位?
  • ?
    CUDA Caching Allocator 显示明明还有 15GB Reserved Unallocated 空闲却报 OOM 是什么原因怎么化解(expandable_segments)?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
📚

关联知识库专题与交互式导图

← 上一题M10-012: 【AIE 跨系统架构与领导力】大模型厂商半年迭代两代甚至突发宕机/降智,如何打造无供应商锁定架构?📋 返回题库下一题 →M10-014: 【AI Infra 性能调优】讲清楚你在推理/训练引擎中做过的一次真实 Roofline 瓶颈榨干优化实战