Cross-Encoder Re-Ranking: 解释多阶段排序架构的设计原则。

Core Concept: 候选数逐级减少、模型逐级变强；每级的目标是'保证下一级的候选够好'（上游保召回、下游保精度）。

数学机理：<strong>多阶段排序的设计原则</strong>——(1) <strong>候选数逐级减少、模型逐级变强</strong>——(a) <strong>召回</strong>——百万~十亿 → 1000（用倒排/ANN，极廉价）；(b) <strong>粗排（pre-ranking）</strong>——1000 → 100~200（用轻量模型/双塔）；(c) <strong>精排（ranking）</strong>——100 → 10~20（用较重模型/交叉编码器）；(d) <strong>重排（re-ranking）</strong>——10 → 最终（用最重模型/LLM/多样性/业务规则）。<strong>为什么能这样</strong>——因为<strong>算力预算固定</strong>（延迟 SLA）；把算力集中在'少量候选'上（每个候选可用更贵的模型）。(2) <strong>各阶段的目标</strong>——(a) <strong>上游（召回）</strong>——目标是<strong>高召回</strong>（宁滥勿缺，因为'上游漏掉的无法补救'）；(b) <strong>下游（排序）</strong>——目标是<strong>高精度</strong>（把最相关的排到前面）。(3) <strong>级数的决定</strong>——(a) <strong>算力-效果的帕累托</strong>——增加一级是否带来显著的 NDCG 提升？(b) <strong>延迟预算</strong>——每级都有延迟成本；(c) <strong>工程复杂度</strong>——级数越多越难维护；(d) <strong>典型 3~4 级</strong>（召回 + 粗排 + 精排 + 重排）；也有 2 级（召回 + 精排）或 5 级（加'预召回'或'多级重排'）。(4) <strong>各阶段的'漏斗比例'</strong>——(a) 1000 → 100 → 10 是常见的'10 倍递减'；(b) 比例需按'每级的召回率'定（若某级召回率低，则不能大幅缩减）；(c) 上游的召回率是<strong>最重要的指标</strong>（Recall@1000 要高）。(5) <strong>延迟预算分配</strong>——(a) 总延迟满足 SLA（如 P99 < 200ms）；(b) 各阶段按'算力需求'分配（召回 20ms、粗排 30ms、精排 80ms、重排 50ms）；(c) <strong>并行化</strong>（多路召回并行、阶段间流水线）；(d) <strong>降级</strong>（超时则跳过下游）。(6) <strong>各阶段的'增量收益'</strong>——(a) 用'理想召回 vs 实际召回'衡量召回阶段的增量；(b) 用'召回 top-k 中的最优排序 vs 实际排序'衡量排序阶段的增量；(c) <strong>若某级增量很小 → 可砍掉</strong>（省成本）。<strong>与其他技术的关系</strong>——(a) 与'多路召回'配合（横向扩展召回阶段）；(b) 与'量化 + 重排'配合（ANN 层）；(c) 与'LLM 重排'配合（最下游）。<strong>实践建议</strong>——(a) <strong>先保证召回率</strong>（Recall@1000）；(b) <strong>按边际收益决定级数与漏斗比例</strong>；(c) <strong>并行 + 流水线</strong>（降延迟）；(d) <strong>降级策略</strong>（可用性）；(e) <strong>监控各阶段</strong>（延迟、召回、增量收益）；(f) <strong>砍掉低增量阶段</strong>（省成本）。<strong>度量</strong>——(a) 各阶段召回率/NDCG；(b) 各阶段延迟（P50/P99）；(c) 端到端 NDCG 与 SLA；(d) 各阶段增量收益。

深度剖析与工程权衡：① <strong>'上游保召回、下游保精度'是核心原则</strong>——上游漏掉的无法补救；面试中能指出这一点是深度理解的标志。② <strong>'候选数递减 → 模型可递增'</strong>——因为算力预算固定；这是级联的根本逻辑。③ <strong>'各阶段增量收益需量化'</strong>——若某级贡献小则可砍掉；这避免'为复杂而复杂'。④ <strong>'上游召回率是最重要指标'</strong>——Recall@1000 决定上限；故需重点优化。⑤ <strong>'降级策略保可用性'</strong>——超时返回部分结果（而非失败）。⑥ <strong>面试要点</strong>——被问'多阶段排序怎么设计'，应给出'<strong>候选递减 + 模型递增 + 上游保召回 + 按边际收益定级数 + 延迟预算 + 降级</strong>'；能给出具体漏斗与预算数字是深度理解的标志。