M8-036M8: 系统架构、MLOps 与工程实战推理服务与部署Hard
⚡闪卡盲测➔掌握度:
解释多模型服务(multi-model serving)与模型编排
🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
📐 核心数学机理公式
⚡ 一句话直击要害答案
多模型共享资源(动态加载/卸载、MPS、多租户);编排把多个模型串成流水线(预处理→模型→后处理)。
📌 核心要点提炼
- •多模型共享 GPU:动态加载/卸载、多租户隔离、资源配额
- •编排(ensemble):预处理 → 模型 → 后处理 的流水线
- •技术:MPS/MIG(GPU 共享)、CUDA stream(并发)、模型缓存与换入换出
📐 数学机理与严密推导
数学机理:多模型服务与编排——(1) 多模型共享(multi-model serving)——(a) 动机——(i) 模型数量多(每个用户/场景一个模型——如'千人千模');(ii) 每个模型的使用频率低(如'长尾模型')→ 独占 GPU 浪费;(iii) 成本——共享可提高利用率;(b) 技术——(i) 动态加载/卸载(按需把模型加载到 GPU、不用时卸载——'换入换出');(ii) GPU 共享——(1) MPS(Multi-Process Service)(多进程共享同一 GPU 的 SM);(2) MIG(Multi-Instance GPU)(把 GPU 切成多个独立实例——硬件隔离);(3) 时间片轮转(简单但延迟抖动);(iii) 多租户隔离(资源配额、故障隔离、安全);(iv) 模型缓存(LRU 换出冷模型);(c) 挑战——(i) 延迟抖动(换入换出时延迟高);(ii) 显存管理(多个模型共存);(iii) 公平性(某租户占满资源);(iv) 冷启动(首次加载慢)。(2) 模型编排(ensemble / pipeline)——(a) 动机——真实应用常需多个模型串联:'预处理模型(分词/图像解码)→ 主模型 → 后处理模型(NMS/解码/格式化)';(b) 实现——(i) Triton Ensemble(声明式定义流水线——DAG);(ii) Python pipeline(简单但性能差);(iii) 服务网格(各模型独立服务、通过 RPC 串联——灵活但有网络开销);(c) 关键——(i) 数据传递(中间结果的序列化/共享内存——避免拷贝开销);(ii) 批处理(各阶段独立批处理 vs 端到端批处理);(iii) 错误处理(某阶段失败的处理);(iv) 资源分配(各阶段的 GPU 分配)。(3) 级联(cascade)——(a) 动机——用小模型快速筛选、只把'难的样本'交给大模型;(b) 例子——(i) 推荐:粗排(小模型)→ 精排(大模型);(ii) 内容审核:分类器 → VLM;(iii) LLM:小模型回答简单问题、大模型回答难题;(c) 收益——成本大幅降低(大部分请求走小模型);(d) 关键——'路由'的判断(置信度/难度分类器)。(4) 其他——(a) 模型路由(model routing)(见 M7 的成本优化题);(b) A/B 分流(不同流量走不同模型版本);(c) 影子模型(并行跑但不返回)。与其他问题的关系——(a) 与'推理引擎'(Triton 支持多模型与 ensemble);(b) 与'成本与延迟优化'(共享与级联降成本);(c) 与'可靠性与降级'(多模型的降级)。实践建议——(a) 多模型共享用 MPS/MIG + 动态加载(提高利用率);(b) 编排用 Triton Ensemble 或服务网格(注意数据传递开销);(c) 级联(小模型+大模型)降成本;(d) 多租户隔离(配额 + 故障隔离);(e) 监控各模型的延迟与利用率;(f) 注意'换入换出'的延迟抖动。度量——(a) GPU 利用率;(b) 各模型的延迟;(c) 编排的端到端延迟与开销;(d) 级联的成本节省;(e) 租户隔离的有效性。
🏭 深度剖析与工业落地权衡
深度剖析与工程权衡:① '多模型共享提高利用率'——长尾模型独占 GPU 浪费;面试中能指出是深度理解的标志。② 'MIG 是硬件隔离'——比 MPS 更彻底(适合多租户)。③ '级联降成本'——大部分请求走小模型。④ '编排的数据传递开销'——中间结果序列化/拷贝可能成为瓶颈(用共享内存)。⑤ '换入换出的延迟抖动'——共享的代价。⑥ 面试要点——被问'多模型怎么服务',应给出'共享(MPS/MIG/动态加载/多租户)+ 编排(Ensemble/服务网格 + 数据传递)+ 级联(小模型+大模型)+ 换入换出的抖动';能指出'级联降成本'与'MIG 硬件隔离'是深度理解的标志。
⚠️ 常见面试陷阱与高频失分点
- ✕每个长尾模型独占 GPU(浪费)
- ✕编排时忽略中间结果的拷贝开销
🎯 面试官连环追问与延伸考察
- ?为什么要'多模型共享'?
- ?编排的'数据传递'如何设计?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!