M8-007M8: 系统架构、MLOps 与工程实战ML 系统设计框架Hard
⚡闪卡盲测➔掌握度:
设计一个 LLM Agent 服务系统
🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
📐 核心数学机理公式
⚡ 一句话直击要害答案
规划 + 工具调用 + 记忆 + 护栏;关键是成本/延迟控制、失败恢复、以及安全(提示注入)。
📌 核心要点提炼
- •架构:规划、工具、记忆(短期/长期)、护栏
- •成本/延迟:轮数 × 上下文 × 单价;用压缩/分级/缓存控制
- •安全:工具权限最小化、高风险确认、防提示注入
📐 数学机理与严密推导
数学机理:LLM Agent 服务系统的设计(结合 M5 的 Agent 题)——(1) 核心循环——(a) 规划(任务分解、TODO 列表);(b) 工具调用(function calling,JSON Schema 约束);(c) 观察(工具返回,需处理长结果);(d) 循环直到完成;(e) 关键——显式计划 + 重规划(防迷路)。(2) 记忆——(a) 短期(上下文窗口);(b) 长期(外部存储:向量库/文件/数据库);(c) 工作记忆(任务状态、TODO);(d) 上下文管理(压缩/摘要/检索);关键——'上下文是稀缺资源'(成本 ∝ 轮数 × 上下文,且随轮数超线性 O(R²))。(3) 工具层——(a) 工具设计(描述清晰、参数扁平、返回结构化);(b) 权限最小化(不能读密钥/发外部请求);(c) 错误可恢复(错误信息回填);(d) 并行调用(互不依赖的并行);(e) 工具数量控制(太多则选择错误率高 → 用检索筛选工具)。(4) 护栏——(a) 输入过滤(有害请求、注入尝试);(b) 模型对齐(拒答有害);(c) 输出过滤(有害内容、隐私);(d) 运行时(限流、审计、人工升级);(e) 提示注入防护(Agent 的头号风险:数据中藏指令 → 用标记区分数据与指令 + 权限最小化 + 高风险确认)。(5) 成本与延迟控制——(a) 成本结构——O(轮数²)(每轮带完整历史);(b) 控制手段——(i) 上下文压缩(摘要/丢弃/外部存储);(ii) 模型分级(简单步骤用小模型);(iii) 缓存(前缀缓存/结果缓存);(iv) 并行化(并行工具/子任务);(v) 预算上限(最大轮数/token 预算);(vi) 减少轮次(更好的工具与规划)。(6) 可观测性——(a) 全链路日志(每步的输入/输出/工具调用);(b) 指标(任务成功率、轮数、成本、延迟);(c) 失败分析(循环/选错工具/忽略观察/目标漂移)。关键决策——(a) 单 Agent vs 多 Agent(多 Agent 常被高估——收益部分来自更多算力);(b) 工具粒度(粗粒度省轮次、细粒度更灵活);(c) 记忆架构(外部存储 + 按需检索);(d) 安全策略(权限最小化 + 高风险确认)。失败模式——(a) 循环(反复调用同一工具);(b) 选错工具;(c) 忽略观察;(d) 目标漂移;(e) 提示注入;(f) 成本失控。实践建议——(a) 显式计划 + 工作记忆;(b) 工具权限最小化(安全底线);(c) 上下文压缩 + 模型分级(成本);(d) 全链路日志(可观测);(e) 预算上限(防失控);(f) 先单 Agent,不足再拆。度量——(a) 任务成功率;(b) 平均轮数/成本/延迟;(c) 工具调用准确率;(d) 注入拦截率。
🏭 深度剖析与工业落地权衡
深度剖析与工程权衡:① '成本 O(轮数²)'是核心约束——每轮带完整历史;面试中能指出是深度理解的标志。② '工具权限最小化'是安全底线——因为提示注入无法根治,故需'即使被注入也造不成大损害'。③ '提示注入是 Agent 头号风险'——数据中藏指令;需标记数据边界 + 权限控制 + 高风险确认。④ '上下文是稀缺资源'——需压缩/检索/外部存储。⑤ '多 Agent 常被高估'——收益部分来自更多算力;故'先单 Agent'。⑥ 面试要点——被问'设计 Agent 系统',应给出'核心循环 + 记忆(短期/长期/工作)+ 工具层(权限最小化)+ 护栏(防注入)+ 成本控制(O(R²))+ 可观测';能指出'提示注入'与'O(R²) 成本'是深度理解的标志。
⚠️ 常见面试陷阱与高频失分点
- ✕给 Agent 无限制的工具权限(注入风险)
- ✕不做上下文管理(成本爆炸)
🎯 面试官连环追问与延伸考察
- ?如何控制 Agent 的成本?
- ?提示注入如何防护?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!