M8-030M8: 系统架构、MLOps 与工程实战推理服务与部署Easy
⚡闪卡盲测➔掌握度:
解释在线推理服务的核心指标
🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
📐 核心数学机理公式
⚡ 一句话直击要害答案
延迟(P50/P99 TTFT/TPOT)、吞吐(QPS/tokens/s)、可用性(SLA)、成本(每千 token);以及 goodput。
📌 核心要点提炼
- •延迟:P50/P99、TTFT(首 token)、TPOT(每 token)
- •吞吐:QPS / tokens/s;可用性:SLA/错误率
- •成本:每千 token 成本;goodput(SLO 内的有效吞吐)
📐 数学机理与严密推导
数学机理:在线推理服务的核心指标——(1) 延迟(latency)——(a) 分位数——(i) P50(中位数——'典型体验');(ii) P99(尾部——'最差体验',最关键,因为用户体验由尾部决定);(iii) 均值不可靠(被长尾拉高但掩盖分布);(b) LLM 特有——(i) TTFT(Time To First Token)——首 token 延迟(由 prefill 决定,∝ prompt 长度);(ii) TPOT(Time Per Output Token)——每输出 token 延迟(由 decode 决定,∝ KV 读取);(iii) 总延迟 ≈ TTFT + TPOT × 输出长度;(c) 端到端延迟(含排队、网络、预处理)。(2) 吞吐(throughput)——(a) QPS(每秒请求数);(b) tokens/s(每秒 token 数——LLM 更常用);(c) 与延迟的权衡——batch 越大吞吐越高但延迟越高(见 M7 的吞吐-延迟权衡题)。(3) 可用性(availability)——(a) SLA(如 99.9% 可用);(b) 错误率(5xx/超时);(c) 降级率(走了降级路径的比例)。(4) 成本(cost)——(a) 每千 token 成本;(b) 每请求成本;(c) GPU 利用率(利用率低则单位成本高);(d) '成本-延迟-质量'三方权衡。(5) goodput——(a) 定义——在满足 SLO(延迟/错误率约束)的前提下能达到的有效吞吐;(b) 为什么重要——'最大吞吐'可能违反 SLO(延迟太高);故 goodput 才是服务的真实目标;(c) 优化目标——max goodput s.t. 成本约束。(6) 其他——(a) 排队时间(与负载相关);(b) 冷启动时间(新实例启动);(c) 缓存命中率(前缀缓存/语义缓存);(d) 批大小分布。监控实践——(a) 分位数而非均值(P50/P95/P99);(b) TTFT/TPOT 分开监控(定位是 prefill 还是 decode 的问题);(c) 按输入长度/输出长度分层(长 prompt 的延迟天然高);(d) 与 SLO 对比(达标率);(e) 成本归因(按请求/用户/场景)。与其他问题的关系——(a) 与'成本与延迟优化'(同一主题);(b) 与'自动扩缩容'(延迟驱动扩缩容);(c) 与'降级'(SLO 保障)。实践建议——(a) 监控 P99(而非均值);(b) TTFT/TPOT 分开;(c) 按长度分层(公平对比);(d) 定义 SLO 并监控达标率;(e) 优化 goodput(而非最大吞吐);(f) 成本归因。度量——(a) P50/P99 的 TTFT/TPOT;(b) QPS/tokens per s;(c) SLA 达标率;(d) 每千 token 成本;(e) goodput。
🏭 深度剖析与工业落地权衡
深度剖析与工程权衡:① '必须看 P99'——用户体验由尾部决定;面试中能指出是深度理解的标志。② 'TTFT/TPOT 分开监控'——定位是 prefill 还是 decode 的问题(两者的优化手段完全不同)。③ 'goodput 而非最大吞吐'——服务目标是'在 SLO 内最大化吞吐'。④ '按长度分层'——长 prompt 的 TTFT 天然高;不分层会误判。⑤ '均值掩盖问题'——必须用分位数。⑥ 面试要点——被问'推理服务的核心指标',应给出'延迟(P50/P99 + TTFT/TPOT)+ 吞吐(QPS/tokens per s)+ 可用性(SLA)+ 成本(每千 token)+ goodput';能指出'TTFT/TPOT 分开'与'goodput'是深度理解的标志。
⚠️ 常见面试陷阱与高频失分点
- ✕只看平均延迟(掩盖尾部)
- ✕不区分 TTFT 与 TPOT(无法定位瓶颈)
🎯 面试官连环追问与延伸考察
- ?为什么必须看 P99 而非均值?
- ?TTFT 与 TPOT 分别由什么决定?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!