KV Cache & Inference Optimizations: 解释前缀缓存（prefix caching）与 RadixAttention。

Core Concept: 缓存相同前缀的 KV 块，多请求复用；RadixAttention 用基数树（前缀树）组织块，实现自动复用与 LRU 淘汰。

数学机理：<strong>动机</strong>——大量请求共享相同的前缀：系统提示（system prompt）、few-shot 示例、多轮对话的历史、RAG 的固定指令模板。若每个请求都重新 prefill 这些前缀，则大量算力被浪费（prefill 是 compute-bound，成本 ∝ 前缀长度）。<strong>前缀缓存（prefix caching）</strong> 把已算过的前缀的 KV cache <strong>保留并复用</strong>：新请求若与已缓存的前缀匹配，则直接复用其 KV（跳过这部分 prefill），只对新后缀做 prefill。<strong>RadixAttention（Zheng 等 2023，SGLang）</strong> 的实现：用<strong>基数树（radix tree / 前缀树）</strong> 组织 KV 块——树的每条边对应一段 token 序列、节点对应一个 KV 块；新请求到来时在树中查找<strong>最长公共前缀</strong>，命中部分直接复用其 KV、未命中部分新建节点；当显存不足时按 <strong>LRU</strong> 淘汰最久未用的叶节点（因为叶节点对应'最不共享'的后缀）。<strong>收益</strong>——(a) <strong>多轮对话</strong>：历史部分完全复用（每轮只需 prefill 新增的用户输入 + 生成回复），TTFT 大幅降低；(b) <strong>few-shot/系统提示</strong>：一次 prefill、所有请求复用；(c) <strong>树状分支生成</strong>（如 tree-of-thought、self-consistency 的多分支）：共享前缀的分支可复用。论文报告在多种工作负载上吞吐提升数倍。<strong>依赖</strong>——前缀缓存必须依赖<strong>块级 KV 管理</strong>（PagedAttention）才能实现'按块复用与共享'；这是两者的配套关系。

深度剖析与工程权衡：① <strong>命中率是关键指标</strong>——前缀缓存的收益完全取决于命中率；对'共享长系统提示'或'多轮对话'场景命中率极高（>90%），对'每个请求都不同'的场景命中率低（此时缓存只是占用显存）。故部署时需评估工作负载特征。② <strong>与 chunked prefill 的关系</strong>——命中前缀后，只需对'未命中的后缀'做 prefill；这与 chunked prefill（把 prefill 切块）配合良好（切块粒度可与块复用粒度对齐）。③ <strong>显存与收益的权衡</strong>——缓存占用显存（挤占可用 batch size）；故需 (a) LRU 淘汰、(b) 限制缓存大小、(c) 按前缀长度与命中率决定是否缓存。④ <strong>安全与隔离</strong>——多租户场景下，前缀缓存可能导致<strong>信息泄漏</strong>（若两个用户共享前缀，其 KV 被复用可能泄露）；故需按租户隔离缓存或对前缀做哈希/加密。这是常被忽视的安全问题。⑤ <strong>与'提示缓存'（prompt caching）的产品化</strong>——多家 API（Anthropic、OpenAI）提供'prompt caching'能力，对重复前缀的输入<strong>按折扣计费</strong>；其底层即前缀缓存。⑥ <strong>面试要点</strong>——被问'如何降低多轮对话的延迟'，应给出'<strong>前缀缓存 + RadixAttention（前缀树索引 + LRU 淘汰）</strong>'，并说明'依赖 PagedAttention 的块级管理'与'命中率决定收益'；能提到'多租户信息泄漏风险'是深度理解的加分项。