M10-018M10: 工程深度 BQ 与项目答辩AI Infra 系统排障与深度 BQMedium
⚡闪卡盲测➔掌握度:

【AI Infra 架构升级】如何将混乱的低利用率单卡隔离 GPU 池改造为高弹性多租户 Serverless 推理/训推混部底座?

🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
下一题: M10-019 →
📐 核心数学机理公式
Goodput=Useful Compute TimeTotal Wall Time,Multi-Tenant Utilization>65%\text{Goodput} = \frac{\text{Useful Compute Time}}{\text{Total Wall Time}},\quad \text{Multi-Tenant Utilization} > 65\%
⚡ 一句话直击要害答案
从发现全公司 GPU 利用率常年低于 20% 入手,结合时间分片/MPS/MIG、PD 潮汐混部(白天推理夜里离线 Batch/RL Rollout)将有效算力利用率拉上 65%+。

📌 核心要点提炼

  • •
    发现现状:公司 500 张 A100/H100 按团队静态认领挂死,白天在线推理平均利用率只有 18%,半夜空转浪费巨大经费
  • •
    阶段 1(透明可观测):建按分钟粒度采集的 DCGM Telemetry Hub,全透明晒出各集群空闲/碎片 GPU 与单位 Token 成本榜单
  • •
    阶段 2(潮汐与抢占式混部):夜间推理低谷流自动把闲置 GPU 让给高容错 Offline Batch Embedding 与 Post-Training Rollout,白天高峰触发秒级优雅 Preemption 让路
  • •
    阶段 3(细粒度切分):小模型验证及轻量辅助任务走 NVIDIA MIG 硬件隔离或 MPS,兼顾高密度与 SLA 无噪声隔离

📐 数学机理与严密推导

潮汐混部成功关键在于无痛极速驱逐协议:离线任务提前支持 SIGTERM 2 秒 Checkpoint 或直接状态化碎片队列;线上高优推理扩缩容唤醒指令一到,离线容器瞬间优雅退场毫不阻塞在线 SLA。

🏭 深度剖析与工业落地权衡

建立内部虚拟算力积分与按实际用量记账(Showback / Chargeback)激励机制,让每个业务组主动配合释放冗余静态保留卡。
⚠️ 常见面试陷阱与高频失分点
  • ✕
    一刀切强开 CUDA MPS 混部没有任何显存与带宽隔离,致使离线跑大任务时把在线延迟彻底搞崩
  • ✕
    缺乏与团队负责人预先对齐弹性 SLA 协议直接强杀研发调试中的交互式 Notebook 实例引发激烈投诉
🎯 面试官连环追问与延伸考察
  • ?
    MIG 硬件切分与 MPS 软件多进程共享各自适用边界和切换重配置成本是什么?
  • ?
    白天推理高峰和离线批处理发生争抢时调度器怎么防止饥饿(Anti-Starvation)?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
📚

关联知识库专题与交互式导图

← 上一题M10-017: 【AI Infra 跨团队技术评审】上游算法团队非要上线一个显存不友好(比如超长非均匀注意力/动态路由)设计,你如何协同落地?📋 返回题库下一题 →M10-019: 【AS 科研深度】讲一个你原本坚信很合理的研究假设最后实验却彻底失败(Negative Result)并带来关键认知转折的经历