Cross-Encoder 交叉重排架构

Cross-Encoder（交叉编码重排序）是一种将查询 $q$ 与候选文档 $d$ 拼接成单一序列输入（格式如 `[CLS] query [SEP] document [SEP]`）并输入至深度 Transformer 编码器的第二阶段重排序模型；与双塔 Bi-Encoder 的独立编码不同，Cross-Encoder 在 Transformer 的每一层注意力机制中执行 Query Token 与 Document Token 之间的全量交叉注意力 (Full Cross-Attention)，并在 `[CLS]` 处通过分类头输出单个 $[0, 1]$ 相关度标量得分。

RAG 检索流水线中对第一阶段多路粗排召回的 Top-50 ~ Top-100 候选切块进行百毫秒级精准精排过滤，截取前 Top-5 给 LLM 生成。

双塔模型在向量压缩时不可避免地丢失了词汇间细粒度的语义对齐交互；Cross-Encoder 实现了 Token 级别的深度上下文交叉交互，彻底消除了语义压缩损失，MRR@10 与 NDCG@10 显著超越双塔模型 15%~30%。

对比 Bi-Encoder 与 Cross-Encoder 在计算复杂度上的根本差异：为什么 Cross-Encoder 无法预先离线建立 ANN 索引？

为什么在工业级 RAG 架构中必须采用“Bi-Encoder 粗排召回 + Cross-Encoder 精排重排”的两阶段管道？

Cross-Encoder 的序列长度二次方复杂度 ($O((L_q + L_d)^2)$) 在候选切块长达 1024 Token 时如何进行批处理 (Batching) 延迟优化？

基于微调的 Cross-Encoder 模型（如 ms-marco-MiniLM-L-6-v2）在领域迁移（Domain Adaptation）中的泛化表现？

如何利用知识蒸馏 (Knowledge Distillation) 将庞大的 Cross-Encoder 教师模型的精排能力蒸馏给小双塔学生模型？