M9-011M9: ML & AI 系统设计实战LLM 推理、RAG 与 Agent 编排系统Hard
⚡闪卡盲测➔掌握度:
设计十万 QPS 企业级大模型推理网关(PD 分离 + Prefix 亲和路由 + 语义缓存)
🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
📐 核心数学机理公式
⚡ 一句话直击要害答案
物理分离算力受限的 Prefill 节点与带宽受限的 Decode 节点消除干扰,配合一致性前缀哈希打满 RadixCache 并前置多级省钱路由。
📌 核心要点提炼
- •L1 硬件物理拆解:长 Prompt Prefill 极度吃 TensorCore 算力,连续自回归 Decode 极度吃 HBM 带宽,混部必造成吐字卡顿
- •L2 PD 分离架构:Prefill Pool 算完 KV Cache 经高速 RDMA/NIXL 直投 Decode Pool 专心做超大 Batch 吐字
- •L2 Prefix 亲和路由:网关按前 K 个 Token 哈希锁定目标机 Radix 缓存树,多轮对话 Cache 命中率飙升至 75%+
- •L3 经济与容灾:租户隔离语义缓存 + 简单任务下放 8B 小模型 + 过载 KV 水线 429 拒载
📐 数学机理与严密推导
端到端时间由 组成;解耦两类硬件配比与 Batch 战略可让单位 GPU 有效产出吞吐翻番且保护 P99 尾延迟。
🏭 深度剖析与工业落地权衡
采用 Bounded-Load Consistent Hashing 路由器:优先进驻缓存前缀最热的 Worker,仅当其 KV 利用率突破 85% 才溢出至备选机。
⚠️ 常见面试陷阱与高频失分点
- ✕使用盲目 Round-Robin 均衡导致同一个万字 System Prompt 在 10 台机器上反复重算 Prefill
- ✕全局语义缓存未把 Tenant/Role 拼进 Cache Key 引发跨用户隐私泄密
🎯 面试官连环追问与延伸考察
- ?面对短问长答(Code Gen)和超长问短答(RAG 文档总结),Prefill/Decode 卡数配比如何动态自动扩缩?
- ?超长 128K 上下文下 RDMA 传输几十 GB KV 成为新瓶颈怎么办?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
📚