M5-087M5: NLP & Large Language ModelsAgents & Tool UseMedium
Mastery:
Agents & Tool Use: 解释 Agent 的记忆设计(短期/长期/工作记忆)。
📐 Mathematical Definition
⚡ Executive Summary
Core Concept: 短期=上下文窗口(对话历史);长期=外部存储(向量库/知识图谱);工作记忆=当前任务的中间状态。
📌 Key Takeaways
- •短期:上下文窗口(对话历史、工具结果)
- •长期:外部存储(向量库、知识图谱、用户画像)
- •工作记忆:当前任务的中间状态(计划、已完成的步骤)
📐 Mathematical Derivations
数学机理:<strong>三类记忆</strong>(类比认知科学)。<strong>(1) 短期记忆(short-term)</strong>——即<strong>上下文窗口</strong>:包含 (a) 对话历史、(b) 当前任务的指令、(c) 工具调用的结果。<strong>限制</strong>——(a) 长度有限(即使 128k,长任务也会超出);(b) <strong>成本 ∝L²</strong>(注意力);(c) lost-in-the-middle(中间信息易被忽略)。<strong>(2) 长期记忆(long-term)</strong>——<strong>外部存储</strong>,跨会话持久:(a) <strong>向量库</strong>(把历史对话/知识编码为向量,按需检索);(b) <strong>知识图谱</strong>(实体与关系,支持结构化查询);(c) <strong>结构化数据库</strong>(用户画像、偏好、事实);(d) <strong>文件系统</strong>(让 Agent 读写文件作为外部记忆,如 Claude 的'文件记忆')。<strong>为什么不能只靠长上下文</strong>——(a) <strong>成本</strong>(每次请求都带全部历史很贵);(b) <strong>有效长度</strong>(lost-in-the-middle 使长历史利用率低);(c) <strong>跨会话</strong>(新会话没有历史,需持久存储);(d) <strong>可更新与可审计</strong>(外部存储可修改、可删除、可审计)。<strong>(3) 工作记忆(working memory / scratchpad)</strong>——<strong>当前任务</strong>的中间状态:(a) <strong>计划</strong>(待办步骤);(b) <strong>已完成步骤与结果</strong>;(c) <strong>当前进度</strong>。作用:让 Agent 在长任务中'记住自己做到哪了'(避免重复、避免迷路)。实现:写在上下文中(显式列出 TODO)、或写入外部文件(更持久)。<strong>记忆的写入与检索</strong>——(a) <strong>写入</strong>——决定'什么值得记'(重要性判断,可用 LLM 打分);(b) <strong>检索</strong>——按相关性(向量检索)+ 时间(近期优先)+ 重要性(加权);(c) <strong>更新/遗忘</strong>——冲突时更新、过时则遗忘(避免存储膨胀与矛盾)。<strong>相关技术</strong>——(a) <strong>记忆摘要</strong>(把长历史压缩为摘要);(b) <strong>分层记忆</strong>(近期详细、远期摘要);(c) <strong>Reflexion 的'经验记忆'</strong>(把失败教训存下来,下次避免)。
🏭 Production Trade-offs
深度剖析与工程权衡:① <strong>'无限长上下文'不能替代长期记忆</strong>——这是常见误解;即使上下文无限,(a) 成本、(b) 跨会话持久性、(c) 可更新与可审计 都要求外部存储。故<strong>记忆架构</strong>是 Agent 的必需组件。② <strong>'什么值得记'是关键决策</strong>——若什么都记,存储膨胀、检索噪声大;若记太少,丢失关键信息。常用 (a) LLM 判断重要性、(b) 规则(用户明确说'记住')、(c) 定期摘要。③ <strong>'冲突与遗忘'的处理</strong>——新信息与旧记忆冲突时需更新(如用户搬家了);故需 (a) 时间戳、(b) 冲突检测、(c) 更新策略。④ <strong>'工作记忆'的价值在长任务</strong>——长任务(如'重构这个代码库')需多步;若无显式的工作记忆,Agent 会 (a) 重复已完成的工作、(b) 偏离目标。故显式维护 TODO 列表是长任务 Agent 的必要设计。⑤ <strong>与'上下文管理'的关系</strong>——记忆的核心是'上下文工程':如何在有限窗口内保留最关键的信息(摘要、检索、分层)。⑥ <strong>面试要点</strong>——被问'Agent 记忆怎么设计',应给出'<strong>短期(上下文)/ 长期(外部存储)/ 工作记忆(任务状态)</strong>'三类与各自的限制,并说明'<strong>为什么长上下文不能替代长期记忆</strong>'(成本/跨会话/可更新)与'<strong>写入-检索-更新-遗忘</strong>'的流程;这是 Agent 类问题的深度回答。
⚠️ Common Interview Pitfalls
- ✕只靠上下文窗口做记忆(跨会话失效、成本高)
- ✕不做遗忘与更新(存储膨胀、信息冲突)
🎯 Interviewer Follow-ups
- ?为什么'无限长上下文'不能替代长期记忆?
- ?记忆如何检索与更新?
📚
Associated Knowledge Base Guides & Mindmaps
Explore the comprehensive technical article, exam cards, and global architecture tree.