RAG End-to-End Architecture: 解释 RAG 的评估维度与方法。

Core Concept: 分检索层（Recall@k/MRR/NDCG）与生成层（忠实度/答案相关性/上下文利用）评估，并做端到端与失败分析。

数学机理：<strong>分层评估框架</strong>。<strong>检索层指标</strong>——(a) <strong>Recall@k</strong>——相关文档是否出现在 top-k 中（最重要，因为'没召回就没戏'）；(b) <strong>Precision@k</strong>——top-k 中有多少相关；(c) <strong>MRR（Mean Reciprocal Rank）</strong>——第一个相关结果的排名倒数（衡量'多快找到'）；(d) <strong>NDCG</strong>——考虑位置与相关性等级（排序质量）；(e) <strong>Hit Rate</strong>——至少有一个相关结果的比例。<strong>评估需要'相关性标注'</strong>（哪些文档对该查询相关）——可由人工标注或用'答案蕴含'自动构造（若文档包含答案则视为相关）。<strong>生成层指标</strong>——(a) <strong>忠实度（faithfulness / groundedness）</strong>——回答是否<strong>被检索到的上下文支持</strong>（而非模型自己编造）；这是 RAG 最重要的指标（防幻觉）；(b) <strong>答案相关性（answer relevance）</strong>——回答是否切题；(c) <strong>上下文利用率</strong>——检索到的内容是否被使用（低利用率说明检索噪声大）；(d) <strong>正确性</strong>——与标准答案比对（若有）。<strong>端到端指标</strong>——人工评分（最可靠但贵）或 <strong>LLM-as-a-Judge</strong>（用强模型打分，需校准与防偏）；以及业务指标（用户满意度、点击、任务完成率）。<strong>为什么必须分层</strong>——因为失败可能出在<strong>检索</strong>（没召回相关文档）或<strong>生成</strong>（召回了但没用好）；分层评估才能<strong>定位问题</strong>并针对性优化。若只看端到端指标，无法知道该改检索还是改生成。<strong>框架与工具</strong>——(a) <strong>RAGAS</strong>（提供 faithfulness/answer relevance/context precision 等指标）；(b) <strong>ARES</strong>；(c) <strong>TruLens</strong>；(d) 自建（用 LLM-judge + 人工抽检）。<strong>失败分析</strong>——(a) <strong>检索失败</strong>（相关文档未召回）→ 改切分/嵌入/混合检索/重排；(b) <strong>生成失败</strong>（召回了但答错）→ 改 prompt/上下文组装/换模型；(c) <strong>两者都失败</strong>。<strong>持续评估</strong>——建立<strong>测试集</strong>（问题 + 标准答案 + 相关文档），每次改动都跑回归。

深度剖析与工程权衡：① <strong>'分层评估才能定位问题'是核心实践</strong>——很多团队只测端到端，导致'效果不好但不知道改哪'；分层（检索/生成）是 RAG 工程的必备纪律。② <strong>'忠实度'是 RAG 的头号指标</strong>——因为 RAG 的主要动机就是'减少幻觉'；若回答不被上下文支持，说明 RAG 没起作用（模型在'自由发挥'）。评估方法：(a) <strong>LLM-judge</strong>（问'这个回答是否被上下文支持？'）；(b) <strong>NLI 模型</strong>（判断'上下文是否蕴含回答'）；(c) <strong>引用检查</strong>（回答中的事实是否都有引用支撑）。③ <strong>'召回优先于精度'</strong>——因为'召回不足是致命的（无法补救）'，而'精度不足可由重排与 LLM 过滤'；故 Recall@k 是首要指标（常看 Recall@20 或 @100）。④ <strong>'LLM-judge 的校准'</strong>——用 LLM 打分需 (a) 与人工评分对齐验证、(b) 控制位置偏差与长度偏差、(c) 用多个模型或多次采样。⑤ <strong>'测试集的构造'</strong>——需覆盖 (a) 不同难度、(b) 不同查询类型（事实/比较/总结/多跳）、(c) 边界情况（无答案的问题——应回答'不知道'）。⑥ <strong>面试要点</strong>——被问'RAG 怎么评估'，应给出'<strong>检索层（Recall@k/MRR/NDCG）+ 生成层（忠实度/相关性/利用率）+ 端到端（人工/LLM-judge）+ 失败分析</strong>'的分层框架，并强调'<strong>忠实度是头号指标</strong>'与'<strong>分层才能定位问题</strong>'；能提到 RAGAS 等工具是深度理解的标志。