🖥️ AI 基础设施ID: context-memory-service

上下文缓存与记忆服务

Q: 前缀 KV 缓存 (prompt caching) 如何跨请求复用, 命中率如何影响 TTFT 与成本?

【上下文缓存与记忆服务 核心考点 1】前缀 KV 缓存 (prompt caching) 如何跨请求复用, 命中率如何影响 TTFT 与成本?。技术解析：定义: 上下文与记忆服务将系统提示/历史会话的前缀 KV 缓存跨请求复用 (前缀 KV 缓存服务), 并对外提供短期工作记忆与长期存储的分层记忆能力。 使用场景: 多轮对话、多租户共享系统提示、长期记忆 Agent; 高并发 AI 系统设计面试常考 prompt caching 与记忆分层。 解决的问题: 长会话逐轮全量 prefill 使 TTFT 与成本随长度线性膨胀; 前缀缓存把 prefill 计算量由 O(L_{\text{total}}) 降至 O(L_{\text{new}}) (TTFT 可降 80%+), 记忆分层 (短期 KV/上... 完整推导与工程落地见：https://talentme.airsota.com/resources/tech/roadmap/mindmap/AI_Infra/card/context-memory-service

Q: 短期记忆与长期记忆如何分层存储 (工作记忆 vs 外部向量库)?

【上下文缓存与记忆服务 核心考点 2】短期记忆与长期记忆如何分层存储 (工作记忆 vs 外部向量库)?。技术解析：定义: 上下文与记忆服务将系统提示/历史会话的前缀 KV 缓存跨请求复用 (前缀 KV 缓存服务), 并对外提供短期工作记忆与长期存储的分层记忆能力。 使用场景: 多轮对话、多租户共享系统提示、长期记忆 Agent; 高并发 AI 系统设计面试常考 prompt caching 与记忆分层。 解决的问题: 长会话逐轮全量 prefill 使 TTFT 与成本随长度线性膨胀; 前缀缓存把 prefill 计算量由 O(L_{\text{total}}) 降至 O(L_{\text{new}}) (TTFT 可降 80%+), 记忆分层 (短期 KV/上... 完整推导与工程落地见：https://talentme.airsota.com/resources/tech/roadmap/mindmap/AI_Infra/card/context-memory-service

Q: 检索服务 (RAG) 如何与记忆服务集成, 相关度与延迟如何权衡?

【上下文缓存与记忆服务 核心考点 3】检索服务 (RAG) 如何与记忆服务集成, 相关度与延迟如何权衡?。技术解析：定义: 上下文与记忆服务将系统提示/历史会话的前缀 KV 缓存跨请求复用 (前缀 KV 缓存服务), 并对外提供短期工作记忆与长期存储的分层记忆能力。 使用场景: 多轮对话、多租户共享系统提示、长期记忆 Agent; 高并发 AI 系统设计面试常考 prompt caching 与记忆分层。 解决的问题: 长会话逐轮全量 prefill 使 TTFT 与成本随长度线性膨胀; 前缀缓存把 prefill 计算量由 O(L_{\text{total}}) 降至 O(L_{\text{new}}) (TTFT 可降 80%+), 记忆分层 (短期 KV/上... 完整推导与工程落地见：https://talentme.airsota.com/resources/tech/roadmap/mindmap/AI_Infra/card/context-memory-service

Q: 长会话成本如何控制 (窗口裁剪、摘要压缩、缓存前缀)?

【上下文缓存与记忆服务 核心考点 4】长会话成本如何控制 (窗口裁剪、摘要压缩、缓存前缀)?。技术解析：定义: 上下文与记忆服务将系统提示/历史会话的前缀 KV 缓存跨请求复用 (前缀 KV 缓存服务), 并对外提供短期工作记忆与长期存储的分层记忆能力。 使用场景: 多轮对话、多租户共享系统提示、长期记忆 Agent; 高并发 AI 系统设计面试常考 prompt caching 与记忆分层。 解决的问题: 长会话逐轮全量 prefill 使 TTFT 与成本随长度线性膨胀; 前缀缓存把 prefill 计算量由 O(L_{\text{total}}) 降至 O(L_{\text{new}}) (TTFT 可降 80%+), 记忆分层 (短期 KV/上... 完整推导与工程落地见：https://talentme.airsota.com/resources/tech/roadmap/mindmap/AI_Infra/card/context-memory-service

Q: 系统提示或历史更新后, 前缀缓存如何失效与重建?

【上下文缓存与记忆服务 核心考点 5】系统提示或历史更新后, 前缀缓存如何失效与重建?。技术解析：定义: 上下文与记忆服务将系统提示/历史会话的前缀 KV 缓存跨请求复用 (前缀 KV 缓存服务), 并对外提供短期工作记忆与长期存储的分层记忆能力。 使用场景: 多轮对话、多租户共享系统提示、长期记忆 Agent; 高并发 AI 系统设计面试常考 prompt caching 与记忆分层。 解决的问题: 长会话逐轮全量 prefill 使 TTFT 与成本随长度线性膨胀; 前缀缓存把 prefill 计算量由 O(L_{\text{total}}) 降至 O(L_{\text{new}}) (TTFT 可降 80%+), 记忆分层 (短期 KV/上... 完整推导与工程落地见：https://talentme.airsota.com/resources/tech/roadmap/mindmap/AI_Infra/card/context-memory-service

Context & Memory Services

🎯核心定义

上下文与记忆服务将系统提示/历史会话的前缀 KV 缓存跨请求复用 (前缀 KV 缓存服务), 并对外提供短期工作记忆与长期存储的分层记忆能力。

💡使用场景

多轮对话、多租户共享系统提示、长期记忆 Agent; 高并发 AI 系统设计面试常考 prompt caching 与记忆分层。

⚡解决的核心痛点

长会话逐轮全量 prefill 使 TTFT 与成本随长度线性膨胀; 前缀缓存把 prefill 计算量由

O(L_{\text{total}})

降至

O(L_{\text{new}})

(TTFT 可降 80%+), 记忆分层 (短期 KV/上下文窗口 + 长期外部存储与检索) 将长会话成本从“全量复算”压缩为“窗口 + 缓存命中”量级。

🎯核心面试考点体系 (Exam Points)

基础原理 · 工业场景 · 深入排雷

基础·定义

请阐明【上下文缓存与记忆服务】的本质定义、底层数学/架构运作机制与关键原理。

基础·场景

在实际工业生产体系中，【上下文缓存与记忆服务】适用于哪些典型场景？解决了什么核心工程痛点？

🔥 高频进阶实战考点 (Top 5 Deep-Dive Questions)

前缀 KV 缓存 (prompt caching) 如何跨请求复用, 命中率如何影响 TTFT 与成本?

短期记忆与长期记忆如何分层存储 (工作记忆 vs 外部向量库)?

检索服务 (RAG) 如何与记忆服务集成, 相关度与延迟如何权衡?

长会话成本如何控制 (窗口裁剪、摘要压缩、缓存前缀)?

系统提示或历史更新后, 前缀缓存如何失效与重建?

📖 关联深度指南:📄 high-concurrency-ai-system →

更新于 2026-08-12

🎯

检验攻克程度：针对「上下文缓存与记忆服务」专属刷题排雷

做单选排雷题、推导选项机制，答错自动收录进专属错题本。

🚀 开始本考点专项刷题 ➔

← 上一个知识点Agent 运行时(跨模块)下一个知识点 →RL 训练与推理服务(跨模块)

🔗 更多 AI 基础设施知识点卡片

激活显存估算弹性伸缩与成本优化检查点与故障恢复集群调度 Ray/K8s

上下文缓存与记忆服务

🔗 更多 AI 基础设施 知识点卡片

🔗 更多 AI 基础设施知识点卡片