Cross-Encoder Re-Ranking: 解释 cross-encoder 重排的原理与代价。

Core Concept: 把查询与文档拼接后一起编码，充分交互 → 精度高；但无法预计算 → 每个候选一次前向（慢）。

数学机理：<strong>cross-encoder 重排</strong>——(1) <strong>结构</strong>——把查询与文档<strong>拼接</strong>为一个序列 <code>[CLS] q [SEP] d [SEP]</code>，送入模型（如 BERT）联合编码，输出一个相关性分数：s(q,d)=f_θ([q;d])。(2) <strong>为什么更准</strong>——因为查询与文档在<strong>每一层</strong>都通过<strong>自注意力交互</strong>（query 的每个 token 都能看到文档的每个 token）；故能建模 (a) <strong>词级匹配</strong>（查询词在文档中的具体语境）；(b) <strong>语义交互</strong>（'查询问的是 X，文档回答了 X 但用了不同的词'）；(c) <strong>否定/条件</strong>（'不是 X'）。对比双塔（无交互，各自编码后算内积）——<strong>表达力显著更强</strong>。(3) <strong>代价</strong>——<strong>无法预计算</strong>（因为分数依赖'查询-文档对'，而非独立的文档向量）；故对 k 个候选需 <strong>k 次前向</strong>；<strong>这使它对'百万级文档'不可行</strong>，只能用于'少量候选'（如 100 个）。(4) <strong>为什么用'重排'</strong>——结合双塔与 cross-encoder 的优势：(a) <strong>召回</strong>用双塔（快、可扩展，取 top-100~1000）；(b) <strong>重排</strong>用 cross-encoder（准，对 100 个候选精排）。<strong>这就是流水线设计</strong>（见多阶段排序题）。(5) <strong>性能对比</strong>——在 MS MARCO 等基准上，cross-encoder 重排比'仅用双塔'显著提升 NDCG（常 5~15 点）；这是它成为标准组件的原因。<strong>成本控制</strong>——(a) <strong>减小候选数</strong>（k 从 1000 降到 100）；(b) <strong>更小的模型</strong>（如 MiniLM 而非 BERT-large）；(c) <strong>蒸馏</strong>（用大模型蒸馏小重排模型）；(d) <strong>批处理</strong>（一次前向处理多个对）；(e) <strong>量化/ONNX</strong>（加速推理）；(f) <strong>级联重排</strong>（先用轻量模型粗排、再用大模型精排）；(g) <strong>缓存</strong>（对重复查询缓存）；(h) <strong>GPU 加速</strong>。<strong>变体</strong>——(a) <strong>ColBERT（晚交互）</strong>——折中方案（见下一题）；(b) <strong>LLM 重排</strong>——用 LLM 排序（更贵但更强，见 LLM 重排题）；(c) <strong>多任务重排</strong>（同时输出相关性 + 其他信号）。<strong>与'双塔'的关系</strong>——(a) <strong>蒸馏</strong>——用 cross-encoder 蒸馏双塔（提升双塔精度）；(b) <strong>共享底座</strong>（同一 BERT 初始化）；(c) <strong>训练数据共享</strong>。<strong>实践建议</strong>——(a) <strong>召回 100~1000 → 重排 top-10</strong>；(b) <strong>用蒸馏过的小模型</strong>（如 MiniLM/DeBERTa-v3-small）；(c) <strong>批处理 + ONNX</strong>（降延迟）；(d) <strong>级联</strong>（轻量 → 重量）；(e) <strong>评估</strong>（重排的增量收益 vs 成本）。<strong>度量</strong>——(a) 重排前后的 NDCG；(b) 延迟（k 个候选的成本）；(c) 重排的'增量收益'（是否值得）。

深度剖析与工程权衡：① <strong>'有交互 → 更准但无法预计算'是核心权衡</strong>——它决定了 cross-encoder 只能用于'少量候选'；面试中能指出这一权衡是深度理解的标志。② <strong>'流水线（召回 + 重排）'是标准设计</strong>——它结合了'可扩展'与'高精度'。③ <strong>'重排的增量收益'需量化</strong>——若重排带来的 NDCG 提升很小，则不值得（可砍掉省成本）。④ <strong>'蒸馏小重排模型'是常用手段</strong>——用大模型蒸馏出小而准的重排模型（如 MiniLM）；兼顾精度与延迟。⑤ <strong>'ColBERT 是折中'</strong>——晚交互保留部分交互能力且可预计算（文档侧）；是'双塔'与'cross-encoder'之间的点。⑥ <strong>面试要点</strong>——被问'cross-encoder 重排'，应给出'<strong>拼接联合编码 + 有交互故更准 + 无法预计算故只能对少量候选</strong>'与'<strong>成本控制（小模型/蒸馏/批处理/级联）</strong>'；能指出'重排的增量收益需量化'是深度理解的标志。