M10-015M10: 工程深度 BQ 与项目答辩AI Infra 系统排障与深度 BQHard
⚡闪卡盲测➔掌握度:
【AI Infra 高可用与容错】万卡集群每几小时必坏一张卡,怎么设计几乎不打断训练的自动容错架构?
🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
📐 核心数学机理公式
⚡ 一句话直击要害答案
随着 GPU 卡数线性上涨,系统平均无故障时间按反比急剧缩水;需要异步内存直写双缓冲 Checkpoint、健康探测快速自愈剔卡(Cordon)与弹性重启。
📌 核心要点提炼
- •物理算术现实:单卡年故障率 ~2%,10,000 张卡跑训练平均每天必然遇上几次 XID 硬件报错、ECC 不可纠错误或光模块闪断
- •容错 1(异步无感保存):TorchSnapshot 异步两阶段写——训练进程 1 秒把显存张量直接异步 D2H 拷贝进主机 PINNED 锁页内存后立刻继续下一步计算,后台独立线程慢悠悠刷向分布式存储/S3
- •容错 2(热备自愈调度):检测到某卡掉线 10 秒内 Controller 自动从热备节点 Pool 顶替上线,不经人工 Semi-night 干预自动拉取最近分钟级 Checkpoint 续训
- •收益量化:将 Cluster Goodput(有效计算时间比 / 墙钟时间)从停等写盘下的 72% 拉升到 94%+
📐 数学机理与严密推导
区分普通故障恢复和 Silent Data Corruption (SDC):不仅防挂机,定期对比校验或监控 Loss 异常突刺及时剔除算错数但不报错的隐性硬件故障卡!
🏭 深度剖析与工业落地权衡
采用节点本地极速 NVMe 做中间缓冲并跨机器冗余(或 RDMA 对端备份),防止单点分布式文件系统打满带宽阻塞所有 Node 同步。
⚠️ 常见面试陷阱与高频失分点
- ✕每 500 步同步卡死全集群 5 分钟写 Checkpoint 到慢速存储上导致每年白白烧掉数百万算力经费
- ✕某节点偶发丢包却反复在同个坏卡原地重试重启十几次陷入死循环浪费整晚
🎯 面试官连环追问与延伸考察
- ?做万卡异步 Checkpoint 时如果 Rank 0 还在往主机异步拷贝第 t 步,Trainer 立刻改写了优化器状态怎么办(Copy-on-Write / Staging Buffer)?
- ?如果业务没有那么多空闲热备卡,弹性缩容继续训怎么保持全局 Effective Batch Size 和数学学习率等效?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
📚