M11-007M11: 跨岗概念桥梁(BA/SDE/DE ➔ AI/ML)SDE/后端 ➔ ML 梯度与异步模型系统Medium
⚡闪卡盲测➔掌握度:
【SDE→AI Infra 桥梁】为什么普通无状态微服务负载均衡策略直接搞垮 LLM 集群?
🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
📐 核心数学机理公式
⚡ 一句话直击要害答案
传统 Web API 无状态、请求耗时恒定在几十毫秒;而 LLM 节点内存里驻留着高达 40GB 的动态 KV Prefix 状态且请求跨度从 0.5 秒到 60 秒差百倍,要求全新的调度范式。
📌 核心要点提炼
- •核心差异 1(有状态巨内存):单个 Worker GPU 内存装有几十 GB 共享 Radix KV 前缀树,打偏节点等于强迫万亿次计算白费
- •核心差异 2(执行时间方差极大):HTTP RPC 大多 5–50ms,LLM 请求随输出长度从 50ms 到 45s 跨越 3 个数量级
- •核心差异 3(显存决定并发上限):Web API 加并发仅切线程开销小,LLM 每增加一个并发都在抢占有限 HBM KV 物理块
- •新调度范式:Prefix-Hash Consistent Routing + Continuous Iteration-level Batching + PagedAttention
📐 数学机理与严密推导
若某多轮 Agent 对话已有 20K Prefix KV 缓存在节点 A,使用普通 Kubernetes Least-Connections 路由把第 7 轮请求发到了空闲的节点 B:节点 B 必须重算全部 20K Prefill(消耗 1.5s TTFT),同时节点 A 白白保留着无用缓存等待淘汰。
🏭 深度剖析与工业落地权衡
结合一致性前缀哈希 + 过载溢出回退(Bounded-Load Consistent Hashing):正常命中同一 Prefix Worker,仅当主 Worker KV 超过 85% 安全水位才溢出转发到次优节点。
⚠️ 常见面试陷阱与高频失分点
- ✕把 Nginx 默认 Round-Robin 与 HTTP 连接数指标直接套到 vLLM Deployment 前面
- ✕用纯 CPU 百分比(k8s HPA CPU=70%)做推理集群自动扩缩容,结果 GPU 显存 KV 早已 100% 排队溢出 CPU 才占 10%
🎯 面试官连环追问与延伸考察
- ?怎么基于真实的 KV Cache 利用率与排队等待时长做推理集群 HPA 扩缩容指标?
- ?当单台机器有 8 张卡跑两个 TP4 实例时跨节点与节点内通信路由怎么配?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
📚