M8-004M8: 系统架构、MLOps 与工程实战ML 系统设计框架Medium
⚡闪卡盲测➔掌握度:
设计一个 LLM 应用系统(RAG 问答),说明关键决策
🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
📐 核心数学机理公式
⚡ 一句话直击要害答案
索引(切分/嵌入/建库)→ 检索(改写/召回/重排)→ 生成(上下文/引用/校验)→ 监控(忠实度/成本)。
📌 核心要点提炼
- •索引:解析、切分、嵌入、向量库 + 稀疏索引
- •检索:查询改写、混合检索、重排
- •生成:上下文组装、引用、允许不知道;监控忠实度/成本/延迟
📐 数学机理与严密推导
数学机理:RAG 问答系统的关键决策(详见 M5 的 RAG 全链路题)——(1) 索引阶段——(a) 文档解析(PDF/HTML/表格的处理);(b) 切分(chunking)——粒度(256~1024 token)+ 重叠 + 元数据;关键决策——'检索粒度 vs 生成粒度'分离(小片段检索 + 父文档返回);(c) 嵌入(模型选择 + 领域微调 + 指令式前缀);(d) 索引(向量库 HNSW/IVF-PQ + 稀疏倒排);(e) 元数据(来源/时间/章节,用于过滤与引用)。(2) 检索阶段——(a) 查询处理(改写/扩展/HyDE/多查询);(b) 召回(稀疏 + 稠密 + 混合 + RRF);(c) 重排(cross-encoder/LLM);(d) 上下文组装(去重、按相关性排序、放首尾对抗 lost-in-the-middle);(e) 自适应检索(按需检索、多跳迭代)。(3) 生成阶段——(a) prompt 设计(明确'依据资料回答');(b) 允许'不知道'(最有效的防幻觉手段);(c) 要求引用(可核查);(d) 约束解码(结构化输出);(e) 工具调用(计算/查询外包)。(4) 监控与评估——(a) 检索层(Recall@k/MRR);(b) 生成层(忠实度/答案相关性/上下文利用率);(c) 端到端(人工/LLM-judge);(d) 成本/延迟(token 数、P99);(e) 失败分析(检索失败 vs 生成失败)。关键决策——(a) 切分粒度(影响召回与上下文质量);(b) 检索方式(混合检索是默认);(c) 是否重排(精度关键);(d) 上下文长度与位置(lost-in-the-middle);(e) 是否自适应检索(成本 vs 质量);(f) 幻觉控制策略(允许不知道 + 引用 + 校验);(g) 成本控制(前缀缓存、模型分级、压缩)。失败模式——(a) 检索不到(放宽/让模型说不知道);(b) 召回了但忽略(prompt 强调 + 位置优化);(c) 幻觉(允许不知道 + 引用校验);(d) 上下文冲突(让模型指出冲突);(e) 成本失控(缓存 + 分级)。实践建议——(a) 混合检索 + 重排(默认);(b) 检索粒度与生成粒度分离;(c) 允许不知道(防幻觉);(d) 分层评估(定位问题);(e) 前缀缓存(多请求共享前缀);(f) 模型分级(简单问题用便宜模型)。度量——(a) 检索 Recall@k;(b) 忠实度;(c) 端到端正确率;(d) 成本/延迟。
🏭 深度剖析与工业落地权衡
深度剖析与工程权衡:① '允许不知道'是防幻觉的最有效手段——成本极低(改 prompt);面试中能指出是深度理解的标志。② '检索粒度与生成粒度分离'——小片段检索(准)+ 父文档返回(全)。③ '分层评估'定位问题——检索失败 vs 生成失败需分开。④ '前缀缓存'对多请求共享系统提示的场景收益巨大。⑤ '模型分级'省成本——简单问题用小模型。⑥ 面试要点——被问'设计 RAG 系统',应给出'索引(切分/嵌入)+ 检索(混合+重排)+ 生成(允许不知道+引用)+ 监控(忠实度)+ 关键决策 + 失败模式';能指出'允许不知道'是深度理解的标志。
⚠️ 常见面试陷阱与高频失分点
- ✕prompt 隐含'必须回答'(鼓励幻觉)
- ✕不做分层评估(无法定位问题)
🎯 面试官连环追问与延伸考察
- ?如何控制幻觉?
- ?如何评估 RAG 的效果?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!