RAG End-to-End Architecture: 解释重排（reranking）的作用与代价。

Core Concept: 用交叉编码器对候选精排，比双塔更准但更慢；通常召回 top-100 → 重排 top-5，兼顾效率与精度。

数学机理：<strong>两类检索模型</strong>。<strong>双塔（bi-encoder）</strong>——查询与文档<strong>分别</strong>编码为向量，用内积/余弦算相似度：s=⟨E_q(q), E_d(d)⟩。<strong>优点</strong>：(a) <strong>文档向量可预计算</strong>（离线建索引），故在线只需编码查询 + 向量检索（快）；(b) 支持大规模检索（用 ANN 索引）。<strong>缺点</strong>：查询与文档<strong>无交互</strong>（各自独立编码），故精度受限（无法捕捉细粒度的词级匹配）。<strong>交叉编码器（cross-encoder）</strong>——把查询与文档<strong>拼接</strong>后一起送入模型（如 BERT），输出相关性分数：s=f([q; d])。<strong>优点</strong>：<strong>查询与文档充分交互</strong>（每层都能看到对方），故精度<strong>显著更高</strong>（能捕捉'查询中的词在文档中的具体语境'）。<strong>缺点</strong>：(a) <strong>无法预计算</strong>（每个查询-文档对都要跑一次模型），故<strong>慢</strong>（O(k) 次前向）；(b) 无法用于大规模检索（不能对百万文档全跑）。<strong>流水线设计</strong>——正是基于两者的互补：(1) <strong>召回阶段</strong>——用双塔（或混合检索）从<strong>百万级</strong>文档中快速取 <strong>top-k</strong>（如 100~1000）候选（高召回、低精度）；(2) <strong>重排阶段</strong>——用交叉编码器对这 k 个候选<strong>精排</strong>（低召回、高精度），取 <strong>top-n</strong>（如 3~10）交给 LLM。<strong>为什么有效</strong>——重排把'精度'从'双塔的精度'提升到'交叉编码器的精度'，而成本只有 k 次前向（可控）。<strong>实证</strong>——在 MS MARCO 等基准上，重排可显著提升 NDCG（比仅用双塔高数个点）；是 RAG 与搜索系统的标准组件。<strong>代价</strong>——(a) <strong>延迟</strong>（k 次交叉编码器前向，通常几十到几百毫秒）；(b) <strong>算力</strong>（可用 GPU 批量加速）；(c) <strong>需部署额外的模型</strong>。<strong>变体</strong>——(a) <strong>Late interaction（ColBERT）</strong>——折中方案：文档预计算<strong>token 级</strong>向量，查询时用 MaxSim 计算（比交叉编码器快、比双塔准）；(b) <strong>LLM 重排</strong>——用 LLM 给候选打分或排序（更贵但更灵活）；(c) <strong>级联重排</strong>——多级（先小模型粗排、再大模型精排）。

深度剖析与工程权衡：① <strong>'双塔 vs 交叉编码器'是检索的核心权衡</strong>——前者快但不准、后者准但慢；流水线（召回 + 重排）是标准的工程解法。面试中能清晰对比两者是基本功。② <strong>'k 的选择'是关键超参</strong>——k 太小则召回不足（重排无米之炊）；k 太大则延迟上升。常用 k=100；需按延迟预算与召回需求调。③ <strong>'ColBERT 的折中'</strong>——它预计算文档的 token 级向量（离线），查询时用 MaxSim（每个查询 token 与文档 token 取最大相似度再求和）；兼顾'可预计算'与'细粒度交互'，是'精度-效率'的中间点。④ <strong>'LLM 重排'的成本</strong>——用 LLM 排序很贵（每个候选一次生成）；但对'小候选集 + 高价值查询'可行（如法律/医疗）。⑤ <strong>与'上下文预算'的关系</strong>——重排后取 top-n 直接决定进入 LLM 上下文的片段数；故重排质量影响'上下文是否含答案'。⑥ <strong>面试要点</strong>——被问'重排有什么用'，应给出'<strong>双塔（快但不准）vs 交叉编码器（准但慢）→ 流水线（召回 top-k → 重排 top-n）</strong>'，并说明'<strong>重排把精度从双塔提升到交叉编码器，成本仅 k 次前向</strong>'；能提到 ColBERT 的 late interaction 折中是深度理解的标志。