M5-083M5: NLP 与大语言模型RAG 全链路Medium
⚡闪卡盲测➔掌握度:
解释长上下文 vs RAG 的取舍。
🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
📐 核心数学机理公式
⚡ 一句话直击要害答案
长上下文保持全局连贯但成本 ∝L²;RAG 精确且便宜但不保证全局;按'任务是否需全局整合'选择或组合。
📌 核心要点提炼
- •长上下文:全局连贯、无需检索,但成本 ∝L²、有 lost-in-the-middle
- •RAG:便宜、精确、可更新,但依赖检索质量、无全局视图
- •组合:检索 + 长上下文(把检索结果放入长窗口)
📐 数学机理与严密推导
数学机理:两者的对比维度。(1) 成本——长上下文:prefill 成本 ∝L²(注意力)、KV 显存 ∝L;RAG:成本 ∝ 检索片段数 k(可控在几千 token)。故长上下文的成本可高 1~2 个数量级(见 M4 的'上下文长度与成本'题)。(2) 能力——长上下文:全局连贯(能整合全文、做跨章节推理)、无需检索(不存在'检索不到'的问题);但受 lost-in-the-middle 影响(中间信息易被忽略)、有效上下文长度常小于名义长度。RAG:精确(只取相关内容、无噪声)、可更新(改索引即可)、可引用(便于核查);但依赖检索质量(检索不到则失败)、无全局视图(无法回答'整体讲了什么')。(3) 可更新性——RAG 的索引可增量更新(新文档加入即可);长上下文需把新内容放入窗口(每次请求都带)。选择依据——(a) 需要全局整合(全书摘要、长代码重构、跨章节推理)→ 长上下文(或 RAG + 全局摘要);(b) 只需少数相关片段(事实问答、客服、文档查找)→ RAG(更经济);(c) 知识量大但相关部分少 → RAG;(d) 相关部分多且分散('这些文档里所有关于 X 的内容')→ 长上下文或 RAG + 多轮检索。组合方案(当前最佳实践)——(1) 检索 + 长上下文:用 RAG 检索出相关片段,放入较长的上下文窗口(如 32k),兼顾精度与连贯;(2) 分层:先检索摘要/概览(全局),再检索细节(局部);(3) 混合:对简单查询用 RAG,对复杂/全局查询用长上下文;(4) RAPTOR/GraphRAG:用层次化结构同时支持'全局'与'局部'检索。经济性对比——对'只需 4k 相关片段'的任务,RAG 成本远低于'塞入 100k 上下文';故RAG 是默认选择,长上下文用于'RAG 无法解决'的场景。注意——'长上下文可以替代 RAG'是常见的误解:即使模型支持 1M 上下文,(a) 成本、(b) lost-in-the-middle、(c) 有效长度 仍使 RAG 在多数场景更优。
🏭 深度剖析与工业落地权衡
深度剖析与工程权衡:① 'RAG 是默认、长上下文是补充'——这是当前工程共识;理由是成本与 lost-in-the-middle。故'先把 RAG 做好,再考虑长上下文'是合理的优先级。② '检索不到'是 RAG 的致命伤——若检索失败,LLM 只能'编'(幻觉);故 (a) 检索指标(Recall@k)是首要监控、(b) 应让模型在'无相关文档'时回答'不知道'(而非编造)。③ '全局问题'的解法——长上下文是一种解法;另一种是层次化检索(RAPTOR 的摘要树、GraphRAG 的社区摘要),成本更低。故'全局问题'不必依赖长上下文。④ '有效上下文长度'的现实——即使模型支持 128k,有效利用可能只有 1/4~1/2(lost-in-the-middle);故'塞入更多'未必更好。⑤ 与'缓存'的配合——若多个请求共享长前缀(如共享文档集),前缀缓存可大幅降低成本,使'长上下文'更经济(见 M4 的前缀缓存题)。⑥ 面试要点——被问'长上下文能否替代 RAG',应给出'不能:成本 ∝L²、lost-in-the-middle、有效长度有限',并给出'按任务选择(全局整合 vs 局部查找)+ 组合方案(检索 + 长窗口 / 层次化检索)';能指出'RAG 是默认、长上下文是补充'是深度理解的标志。
⚠️ 常见面试陷阱与高频失分点
- ✕认为长上下文可以完全替代 RAG
- ✕在只需少数片段的任务上塞入全量文档
🎯 面试官连环追问与延伸考察
- ?哪些任务必须用长上下文?
- ?RAG 检索不到时怎么办?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!