RAG End-to-End Architecture: 解释长上下文 vs RAG 的取舍。

Core Concept: 长上下文保持全局连贯但成本 ∝L²；RAG 精确且便宜但不保证全局；按'任务是否需全局整合'选择或组合。

数学机理：<strong>两者的对比维度</strong>。(1) <strong>成本</strong>——长上下文：prefill 成本 ∝L²（注意力）、KV 显存 ∝L；RAG：成本 ∝ 检索片段数 k（可控在几千 token）。故长上下文的成本可高 1~2 个数量级（见 M4 的'上下文长度与成本'题）。(2) <strong>能力</strong>——长上下文：<strong>全局连贯</strong>（能整合全文、做跨章节推理）、<strong>无需检索</strong>（不存在'检索不到'的问题）；但受 <strong>lost-in-the-middle</strong> 影响（中间信息易被忽略）、有效上下文长度常小于名义长度。RAG：<strong>精确</strong>（只取相关内容、无噪声）、<strong>可更新</strong>（改索引即可）、<strong>可引用</strong>（便于核查）；但<strong>依赖检索质量</strong>（检索不到则失败）、<strong>无全局视图</strong>（无法回答'整体讲了什么'）。(3) <strong>可更新性</strong>——RAG 的索引可增量更新（新文档加入即可）；长上下文需把新内容放入窗口（每次请求都带）。<strong>选择依据</strong>——(a) <strong>需要全局整合</strong>（全书摘要、长代码重构、跨章节推理）→ 长上下文（或 RAG + 全局摘要）；(b) <strong>只需少数相关片段</strong>（事实问答、客服、文档查找）→ RAG（更经济）；(c) <strong>知识量大但相关部分少</strong> → RAG；(d) <strong>相关部分多且分散</strong>（'这些文档里所有关于 X 的内容'）→ 长上下文或 RAG + 多轮检索。<strong>组合方案（当前最佳实践）</strong>——(1) <strong>检索 + 长上下文</strong>：用 RAG 检索出相关片段，放入<strong>较长的上下文窗口</strong>（如 32k），兼顾精度与连贯；(2) <strong>分层</strong>：先检索摘要/概览（全局），再检索细节（局部）；(3) <strong>混合</strong>：对简单查询用 RAG，对复杂/全局查询用长上下文；(4) <strong>RAPTOR/GraphRAG</strong>：用层次化结构同时支持'全局'与'局部'检索。<strong>经济性对比</strong>——对'只需 4k 相关片段'的任务，RAG 成本远低于'塞入 100k 上下文'；故<strong>RAG 是默认选择</strong>，长上下文用于'RAG 无法解决'的场景。<strong>注意</strong>——'长上下文可以替代 RAG'是常见的误解：即使模型支持 1M 上下文，(a) 成本、(b) lost-in-the-middle、(c) 有效长度 仍使 RAG 在多数场景更优。

深度剖析与工程权衡：① <strong>'RAG 是默认、长上下文是补充'</strong>——这是当前工程共识；理由是成本与 lost-in-the-middle。故'先把 RAG 做好，再考虑长上下文'是合理的优先级。② <strong>'检索不到'是 RAG 的致命伤</strong>——若检索失败，LLM 只能'编'（幻觉）；故 (a) 检索指标（Recall@k）是首要监控、(b) 应让模型在'无相关文档'时回答'不知道'（而非编造）。③ <strong>'全局问题'的解法</strong>——长上下文是一种解法；另一种是<strong>层次化检索</strong>（RAPTOR 的摘要树、GraphRAG 的社区摘要），成本更低。故'全局问题'不必依赖长上下文。④ <strong>'有效上下文长度'的现实</strong>——即使模型支持 128k，<strong>有效利用</strong>可能只有 1/4~1/2（lost-in-the-middle）；故'塞入更多'未必更好。⑤ <strong>与'缓存'的配合</strong>——若多个请求共享长前缀（如共享文档集），<strong>前缀缓存</strong>可大幅降低成本，使'长上下文'更经济（见 M4 的前缀缓存题）。⑥ <strong>面试要点</strong>——被问'长上下文能否替代 RAG'，应给出'<strong>不能：成本 ∝L²、lost-in-the-middle、有效长度有限</strong>'，并给出'<strong>按任务选择（全局整合 vs 局部查找）+ 组合方案（检索 + 长窗口 / 层次化检索）</strong>'；能指出'RAG 是默认、长上下文是补充'是深度理解的标志。