Cross-Encoder Re-Ranking: 解释重排中的多样性与去重。

Core Concept: 重排需在'相关性'之外考虑'多样性'（避免同质结果）与'去重'（近重复文档）；用 MMR 或 DPP。

数学机理：<strong>两个需求</strong>。(1) <strong>多样性（diversity）</strong>——(a) <strong>问题</strong>——若只按相关性排序，前 10 条可能'都讲同一件事'（如 10 篇内容雷同的文章）；(b) <strong>后果</strong>——(i) 用户无法看到不同角度/来源；(ii) 若第一条不满足需求，后续也无用（冗余）；(iii) 推荐系统中'信息茧房'。(c) <strong>方法</strong>——(i) <strong>MMR（Maximal Marginal Relevance）</strong>——贪心选择：每次选'既相关又与已选集合最不相似'的文档：argmax_d [λ·rel(d) − (1−λ)·max_{d'∈S} sim(d,d')]；λ 控制'相关性 vs 多样性'的权衡（λ=1 纯相关、λ=0 纯多样）。(ii) <strong>DPP（Determinantal Point Process）</strong>——用行列式建模'集合的多样性'（概率 ∝ 行列式，行列式大则'多样'）；可从理论上保证多样性。(iii) <strong>聚类后选择</strong>——先聚类、每类取代表（保证覆盖不同主题）。(iv) <strong>类别/来源配额</strong>——强制覆盖不同类别/来源。(2) <strong>去重（dedup）</strong>——(a) <strong>精确去重</strong>（相同 URL/id）；(b) <strong>近重复检测</strong>——用 MinHash/SimHash（见 M5 的去重题）检测'内容几乎相同'的文档；(c) <strong>聚合（aggregation）</strong>——把同一主题的多个文档聚成一个结果（如'来自 5 个来源的报道'）；(d) <strong>按来源/站点去重</strong>——避免'同一站点占满结果'。<strong>为什么多样性重要</strong>——(a) <strong>用户需求多样</strong>（不确定想看什么）；(b) <strong>冗余降低效用</strong>（10 条同质信息 ≈ 1 条）；(c) <strong>业务价值</strong>（推荐系统中多样性提升长期满意度、减少疲劳）；(d) <strong>风险分散</strong>（若某条信息错误，多样性可提供交叉验证）。<strong>与其他目标的关系</strong>——(a) 与<strong>相关性</strong>存在张力（多样性会降低 top-1 的相关性）；(b) 与<strong>业务规则</strong>（如'必须包含新品'）；(c) 与<strong>个性化</strong>（不同用户偏好不同多样性）。<strong>评估</strong>——(a) <strong>多样性指标</strong>——(i) <strong>ILD（Intra-List Diversity）</strong>——列表内文档两两不相似度的平均；(ii) <strong>类别覆盖</strong>（覆盖了多少个类别）；(iii) <strong>Gini/熵</strong>（来源/类别的分布均匀度）。(b) <strong>去重效果</strong>——近重复率。(c) <strong>端到端</strong>（用户满意度/点击率）。<strong>实践建议</strong>——(a) <strong>重排的最后阶段加多样性</strong>（MMR 或 DPP）；(b) <strong>先去重</strong>（近重复检测）；(c) <strong>按场景调 λ</strong>（信息型查询重相关、探索型查询重多样）；(d) <strong>监控 ILD 与类别覆盖</strong>；(e) <strong>A/B 测试</strong>（多样性对长期指标的影响）。<strong>度量</strong>——(a) ILD/类别覆盖；(b) 近重复率；(c) NDCG（相关性）+ 多样性指标的联合；(d) 在线长期指标。

深度剖析与工程权衡：① <strong>'冗余降低效用'是多样性的根本理由</strong>——10 条同质信息 ≈ 1 条；面试中能指出这一点是深度理解的标志。② <strong>'MMR 的 λ 控制相关-多样权衡'</strong>——需按场景调（信息型 vs 探索型查询）。③ <strong>'去重与多样性是不同层次'</strong>——去重处理'近重复'（同一内容），多样性处理'主题冗余'（不同文档但同一主题）；两者都需做。④ <strong>'多样性与相关性的张力'</strong>——多样性会降低 top-1 相关性；故需平衡（而非一味多样）。⑤ <strong>'业务规则可强制多样性'</strong>——如'至少 3 个不同来源'；这是工程手段。⑥ <strong>面试要点</strong>——被问'重排要考虑多样性吗'，应给出'<strong>多样性（MMR/DPP/聚类）+ 去重（近重复/聚合/来源）+ 评估（ILD/覆盖）+ 与相关性的张力</strong>'；能指出'冗余降低效用'是深度理解的标志。