Cross-Encoder Re-Ranking: 解释 LLM 重排（listwise reranking）的做法与代价。

Core Concept: 用 LLM 对候选列表做 listwise 排序（或打分）；效果强（能理解复杂相关性）但成本高、延迟大。

数学机理：<strong>LLM 重排的两种形式</strong>——(1) <strong>pointwise</strong>——对每个（查询，文档）对让 LLM 输出相关性分（或'是/否相关'）；<strong>优点</strong>——简单；<strong>缺点</strong>——(a) 成本 ∝ 候选数（每个都要一次调用）；(b) 无'比较'信息（LLM 打分尺度不一致）。(2) <strong>listwise</strong>——把<strong>整个候选列表</strong>（如 20 个文档的标题+摘要）给 LLM，让它<strong>输出排序</strong>（如'3,1,5,2,...'）或'按相关性排序的 id 列表'；<strong>优点</strong>——(a) <strong>一次调用处理多个文档</strong>（成本大幅降低）；(b) <strong>LLM 能'比较'候选</strong>（相对判断比绝对打分更可靠）；(c) <strong>能理解复杂相关性</strong>（条件、否定、多跳、时效）；<strong>缺点</strong>——(a) 受<strong>上下文长度</strong>限制（候选数受限，如 20~100）；(b) <strong>位置偏置</strong>（LLM 对列表中的位置有偏好 → 需随机化或多次调用）；(c) <strong>排序不稳定</strong>（多次调用可能给不同排序）。<strong>为什么 LLM 重排强</strong>——(a) <strong>理解力强</strong>（能处理'查询问的是 X，文档讲的是 Y 但暗示 X'）；(b) <strong>可用'世界知识'</strong>（判断'这个来源可信吗'）；(c) <strong>可执行复杂指令</strong>（如'优先权威来源、排除过时信息'）。<strong>成本与延迟</strong>——(a) <strong>token 成本</strong>——listwise 的输入 ∝ 候选数 × 每文档长度；输出 ∝ 候选数；(b) <strong>延迟</strong>——LLM 生成比 BERT 慢得多（数十倍）；(c) <strong>因此</strong>——LLM 重排<strong>只能用于最下游</strong>（如对 top-20 排序）；(d) <strong>成本估算</strong>——对 20 个候选、每个 200 token，输入约 4000+ token；每次查询的 LLM 成本可观。<strong>控制成本的手段</strong>——(a) <strong>滑动窗口（sliding window）</strong>——把 100 个候选分成 5 组（每组 20），各组内排序、再合并（RankGPT 的做法）；(b) <strong>减少候选数</strong>（先用 BERT 重排到 20，再用 LLM）；(c) <strong>用小/便宜的 LLM</strong>；(d) <strong>蒸馏</strong>（用 LLM 蒸馏出小的重排模型——<strong>最实用</strong>：训练一个 BERT 大小的模型模仿 LLM 的排序）；(e) <strong>缓存</strong>（重复查询）；(f) <strong>按查询路由</strong>（只对'复杂查询'用 LLM 重排，简单查询用 BERT）。<strong>位置偏置的处理</strong>——(a) <strong>多次调用 + 不同顺序</strong>（取平均/投票）；(b) <strong>随机化顺序</strong>；(c) 用'两两比较'（但成本高）。<strong>评估</strong>——(a) <strong>NDCG</strong>（vs BERT 重排）；(b) <strong>增量收益 vs 成本</strong>（LLM 重排带来的提升是否值得）；(c) <strong>稳定性</strong>（多次调用的方差）；(d) 延迟。<strong>实践建议</strong>——(a) <strong>级联</strong>（BERT 重排 → LLM 重排 top-20）；(b) <strong>蒸馏</strong>（把 LLM 的排序能力蒸馏到小模型——性价比最高）；(c) <strong>滑动窗口</strong>（处理大量候选）；(d) <strong>随机化顺序</strong>（处理位置偏置）；(e) <strong>按查询路由</strong>（复杂查询才用 LLM）；(f) <strong>量化增量收益</strong>。<strong>度量</strong>——(a) NDCG；(b) 延迟与成本；(c) 稳定性；(d) 增量收益/成本比。

深度剖析与工程权衡：① <strong>'listwise 一次处理多个 → 成本大降'</strong>——这是 RankGPT 类方法的核心；面试中能指出'listwise 优于 pointwise'是深度理解的标志。② <strong>'蒸馏是性价比最高的落地方式'</strong>——用 LLM 蒸馏出小模型，保留大部分收益、成本大降。③ <strong>'位置偏置需处理'</strong>——LLM 对列表位置有偏好；故需随机化/多次调用。④ <strong>'只能用于最下游'</strong>——因为延迟与成本；故 LLM 重排是级联的最后一环。⑤ <strong>'按查询路由'省成本</strong>——简单查询用 BERT、复杂查询用 LLM；这是实用的工程折中。⑥ <strong>面试要点</strong>——被问'LLM 重排怎么做'，应给出'<strong>listwise（一次处理多个）+ 滑动窗口 + 蒸馏 + 位置偏置处理 + 按查询路由</strong>'与'<strong>成本延迟高故只用于最下游</strong>'；能指出'蒸馏是性价比最高的落地方式'是深度理解的标志。