M11-007M11: 跨岗概念桥梁(BA/SDE/DE ➔ AI/ML)SDE/后端 ➔ ML 梯度与异步模型系统Medium
⚡闪卡盲测➔掌握度:

【SDE→AI Infra 桥梁】为什么普通无状态微服务负载均衡策略直接搞垮 LLM 集群?

🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
下一题: M11-008 →
📐 核心数学机理公式
Web Microservice (Stateless)  ⟹  LLM Serving (Stateful Giant KV Cache)\text{Web Microservice (Stateless)} \implies \text{LLM Serving (Stateful Giant KV Cache)}
⚡ 一句话直击要害答案
传统 Web API 无状态、请求耗时恒定在几十毫秒;而 LLM 节点内存里驻留着高达 40GB 的动态 KV Prefix 状态且请求跨度从 0.5 秒到 60 秒差百倍,要求全新的调度范式。

📌 核心要点提炼

  • •
    核心差异 1(有状态巨内存):单个 Worker GPU 内存装有几十 GB 共享 Radix KV 前缀树,打偏节点等于强迫万亿次计算白费
  • •
    核心差异 2(执行时间方差极大):HTTP RPC 大多 5–50ms,LLM 请求随输出长度从 50ms 到 45s 跨越 3 个数量级
  • •
    核心差异 3(显存决定并发上限):Web API 加并发仅切线程开销小,LLM 每增加一个并发都在抢占有限 HBM KV 物理块
  • •
    新调度范式:Prefix-Hash Consistent Routing + Continuous Iteration-level Batching + PagedAttention

📐 数学机理与严密推导

若某多轮 Agent 对话已有 20K Prefix KV 缓存在节点 A,使用普通 Kubernetes Least-Connections 路由把第 7 轮请求发到了空闲的节点 B:节点 B 必须重算全部 20K Prefill(消耗 1.5s TTFT),同时节点 A 白白保留着无用缓存等待淘汰。

🏭 深度剖析与工业落地权衡

结合一致性前缀哈希 + 过载溢出回退(Bounded-Load Consistent Hashing):正常命中同一 Prefix Worker,仅当主 Worker KV 超过 85% 安全水位才溢出转发到次优节点。
⚠️ 常见面试陷阱与高频失分点
  • ✕
    把 Nginx 默认 Round-Robin 与 HTTP 连接数指标直接套到 vLLM Deployment 前面
  • ✕
    用纯 CPU 百分比(k8s HPA CPU=70%)做推理集群自动扩缩容,结果 GPU 显存 KV 早已 100% 排队溢出 CPU 才占 10%
🎯 面试官连环追问与延伸考察
  • ?
    怎么基于真实的 KV Cache 利用率与排队等待时长做推理集群 HPA 扩缩容指标?
  • ?
    当单台机器有 8 张卡跑两个 TP4 实例时跨节点与节点内通信路由怎么配?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
📚

关联知识库专题与交互式导图

← 上一题M11-006: 【SDE→MLE 桥梁】用有向无环计算图(DAG)与编译器视角理解 Backprop & Autograd📋 返回题库下一题 →M11-008: 【SDE/QA→AIE/Eval 桥梁】从确定性 assert a == b 到概率性 AI 系统回归门禁