Cost & Latency Optimization: 解释语义缓存与精确缓存的差异及风险。

Core Concept: 精确缓存按 key（规范化后的完整请求）完全匹配命中；语义缓存按 embedding 相似度命中，能覆盖改写与近义问法，但需相似度阈值并承担答非所问的风险。

数学机理：<strong>两类缓存的机制对比</strong>——(1) <strong>精确缓存</strong>——(a) <strong>key 构造</strong>——对请求做规范化（trim、统一大小写、排序参数、剥离无关字段）后作为 key；(b) <strong>命中判定</strong>——严格相等 x = x'，<strong>无假阳性</strong>；(c) <strong>命中率</strong>——等于请求的重复率（改写、近义问法不命中）；(d) <strong>优点</strong>——确定、零质量风险、实现简单；(e) <strong>缺点</strong>——只覆盖逐字重复。(2) <strong>语义缓存</strong>——(a) <strong>编码</strong>——用嵌入模型把请求映射为向量 E(x)；(b) <strong>检索</strong>——在缓存向量库中找最近邻，相似度（余弦/内积）≥ τ 即命中，返回其缓存答案；(c) <strong>命中判定</strong>——cos(E(x), E(x')) ≥ τ，<strong>存在假阳性</strong>；(d) <strong>优点</strong>——覆盖改写、近义、多语言；命中率显著提升；(e) <strong>缺点</strong>——<strong>答非所问风险</strong>（相似但语义不同，如'如何取消订单' vs '如何取消订阅'）；(f) <strong>阈值 τ 的权衡</strong>——τ 高 → 安全但命中少；τ 低 → 命中多但错误多。(3) <strong>风险控制</strong>——(a) <strong>高阈值</strong>——通常 0.9+ 才安全；(b) <strong>结构化校验</strong>——命中后仍校验关键槽位（实体/意图）是否一致；(c) <strong>分层</strong>——精确命中直接返回，语义命中可先返回再后台校验；(d) <strong>回退</strong>——不确定则不缓存、走正常推理；(e) <strong>审计</strong>——记录语义命中的样本，人工抽查质量。(4) <strong>失效策略</strong>——(a) <strong>TTL</strong>——按时间过期；(b) <strong>版本化</strong>——key 含模型版本、知识/数据版本、提示词版本，任一变化则失效（避免用旧知识答新问题）；(c) <strong>主动失效</strong>——知识更新或政策变更时批量清除相关条目。<strong>经济性</strong>——(a) <strong>收益</strong>——命中即省一次完整推理（prefill+decode），收益巨大；(b) <strong>成本</strong>——嵌入计算 + 向量检索（远低于推理）；(c) <strong>净收益</strong>——命中率越高、单次推理越贵，收益越大。<strong>与其他问题的关系</strong>——(a) 与模型路由（缓存挡重复、路由处理新请求）；(b) 与 RAG（检索结果变化需失效缓存）；(c) 与一致性问题（缓存与源数据不一致）。<strong>度量</strong>——(a) 命中率（精确/语义分列）；(b) 语义命中的错误率；(c) 节省的成本与延迟；(d) 缓存新鲜度。

深度剖析与工程权衡：① <strong>语义缓存的假阳性是核心风险</strong>——相似不等价（取消订单 vs 取消订阅）；面试中能举出具体反例是深度理解的标志。② <strong>阈值必须偏高</strong>——宁可少命中也不能答错。③ <strong>结构化槽位校验是有效补充</strong>——命中后校验实体与意图一致性。④ <strong>版本化失效不可省</strong>——知识/模型/提示词变化后旧缓存会误导。⑤ <strong>缓存是最高性价比的降本手段</strong>——命中即省整次推理，且无精度损失（精确缓存）。⑥ <strong>分场景取舍</strong>——FAQ/客服适合语义缓存，个性化/强时效不适合。⑦ <strong>面试要点</strong>——被问怎么降低 LLM 服务成本，应给出'<strong>精确缓存 → 语义缓存（高阈值+槽位校验）→ 路由 → 蒸馏</strong>'，并强调'语义缓存必须控制假阳性'；能指出版本化失效是深度理解的标志。