M9-011M9: ML & AI 系统设计实战LLM 推理、RAG 与 Agent 编排系统Hard
⚡闪卡盲测➔掌握度:

设计十万 QPS 企业级大模型推理网关(PD 分离 + Prefix 亲和路由 + 语义缓存)

🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
下一题: M9-012 →
📐 核心数学机理公式
TTFT(Lin)⊥TPOT(Bdecode)∧Consistent Prefix Hash\text{TTFT}(L_{\text{in}}) \perp \text{TPOT}(B_{\text{decode}})\quad \land \quad\text{Consistent Prefix Hash}
⚡ 一句话直击要害答案
物理分离算力受限的 Prefill 节点与带宽受限的 Decode 节点消除干扰,配合一致性前缀哈希打满 RadixCache 并前置多级省钱路由。

📌 核心要点提炼

  • •
    L1 硬件物理拆解:长 Prompt Prefill 极度吃 TensorCore 算力,连续自回归 Decode 极度吃 HBM 带宽,混部必造成吐字卡顿
  • •
    L2 PD 分离架构:Prefill Pool 算完 KV Cache 经高速 RDMA/NIXL 直投 Decode Pool 专心做超大 Batch 吐字
  • •
    L2 Prefix 亲和路由:网关按前 K 个 Token 哈希锁定目标机 Radix 缓存树,多轮对话 Cache 命中率飙升至 75%+
  • •
    L3 经济与容灾:租户隔离语义缓存 + 简单任务下放 8B 小模型 + 过载 KV 水线 429 拒载

📐 数学机理与严密推导

端到端时间由 TTFT+Lout⋅TPOT\text{TTFT} + L_{\text{out}}\cdot \text{TPOT} 组成;解耦两类硬件配比与 Batch 战略可让单位 GPU 有效产出吞吐翻番且保护 P99 尾延迟。

🏭 深度剖析与工业落地权衡

采用 Bounded-Load Consistent Hashing 路由器:优先进驻缓存前缀最热的 Worker,仅当其 KV 利用率突破 85% 才溢出至备选机。
⚠️ 常见面试陷阱与高频失分点
  • ✕
    使用盲目 Round-Robin 均衡导致同一个万字 System Prompt 在 10 台机器上反复重算 Prefill
  • ✕
    全局语义缓存未把 Tenant/Role 拼进 Cache Key 引发跨用户隐私泄密
🎯 面试官连环追问与延伸考察
  • ?
    面对短问长答(Code Gen)和超长问短答(RAG 文档总结),Prefill/Decode 卡数配比如何动态自动扩缩?
  • ?
    超长 128K 上下文下 RDMA 传输几十 GB KV 成为新瓶颈怎么办?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
📚

关联知识库专题与交互式导图

← 上一题M9-010: 设计支持文/图/PDF 财报的多模态 ColPali Late-Interaction 检索引擎📋 返回题库下一题 →M9-012: 设计零越权企业多租户混合 RAG 知识中枢(CDC + Docling + Pre-Filter HNSW)