M10-013M10: 工程深度 BQ 与项目答辩AI Infra 系统排障与深度 BQHard
⚡闪卡盲测➔掌握度:
【AI Infra 极限排障】万卡/千卡分布式训练或高并发 vLLM 突然无报错 Silent Hang 或 OOM 怎么一步步破案?
🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
📐 核心数学机理公式
⚡ 一句话直击要害答案
AI Infra 最硬核面试追问:能清晰讲出从监控水位、进程堆栈(py-spy / gdb)、NCCL_DEBUG 日志、Nsight Trace 找到唯一慢卡或孤儿集体通信死锁的实操流程。
📌 核心要点提炼
- •Silent Hang 定位:1) 看
nvidia-smi/DCGM 功耗与 GPU Util 是否掉成 0% 但显卡仍占满显存;2) 抓取全部节点 py-spy 堆栈对比哪几张 Rank 卡停留在不同行代码(条件分支漏调 all_reduce!);3) 开TORCH_NCCL_ASYNC_ERROR_HANDLING=1与 Flight Recorder 找首起超时链路 - •硬件掉队(Slow Straggler / ECC):单机 PCIe 降速或散热降频拖慢整个 Ring AllReduce,用轻量点对点微基准环测试秒定位问题节点并隔离驱逐(Cordon & Drain)
- •周期性内存 OOM 排查:利用 PyTorch Memory Snapshot (
torch.cuda.memory._record_memory_history) 抓取峰值分配火焰图,甄别未释放的计算图引用(忘记 detach/item())或动态变长序列造成显存 Caching Allocator 极端碎片
📐 数学机理与严密推导
记住这个分布式调试铁律:凡是集体死锁,问题一定不在全部机器一起发疯,而在于 Rank `i` 与 Rank `j` 走了不同代码分支,或某单一网卡/光模块发生隐性丢包 PFC Pause 风暴。
🏭 深度剖析与工业落地权衡
生产集群训练必须常态化挂上自动化 Health Check Cron:每轮 Epoch 间或节点拉起前秒跑一次 NCCL AllReduce Bandwidth 体检,不及格硬件提前剔出调度池。
⚠️ 常见面试陷阱与高频失分点
- ✕死等 PyTorch NCCL Timeout 30 分钟什么日志没看直接瞎重启整组任务,下一次照样半夜挂在原地
- ✕忘记在记录 Loss 监控字典时写
loss.item()或.detach()致使把整个反向计算图一路攒在内存列表里
🎯 面试官连环追问与延伸考察
- ?遇到 InfiniBand RoCE 网络出现 PFC(Priority Flow Control)Deadlock 死锁或者重传率飙升怎么通过硬件计数器定位?
- ?CUDA Caching Allocator 显示明明还有 15GB Reserved Unallocated 空闲却报 OOM 是什么原因怎么化解(expandable_segments)?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
📚