Hybrid Retrieval & RRF Fusion: 解释检索的多语言与多模态融合。

Core Concept: 把多语言（不同语言查询/文档）与多模态（文本/图像/音频）的检索结果融合；需处理'跨空间可比性'与'配额'。

数学机理：<strong>两个维度的'混合'</strong>——(1) <strong>多语言混合</strong>——(a) <strong>同一语言内</strong>（查询与文档同语言）——用该语言的检索器；(b) <strong>跨语言</strong>（中文查询 → 英文文档）——用多语言编码器（见多语言稠密检索题）或翻译；(c) <strong>混合语言文档</strong>（一篇文档含多语言）——需多语言处理。(2) <strong>多模态混合</strong>——(a) <strong>同模态</strong>（文本→文本、图像→图像）；(b) <strong>跨模态</strong>（文本→图像、图像→文本）——用 CLIP 式共享空间；(c) <strong>多模态文档</strong>（一个文档含图文）——需分别编码后融合。<strong>融合的难点</strong>——(a) <strong>分数不可比</strong>——不同语言/模态的分数<strong>尺度不同</strong>（同模态间隙问题）；故<strong>不能用固定阈值</strong>，需按语言/模态校准；(b) <strong>配额分配</strong>——多语言/多模态的候选如何分配（按语言/模态的'查询比例'或'业务优先级'）；(c) <strong>跨空间的'可比性'</strong>——若用不同的编码器（如中文用模型 A、英文用模型 B），则两空间<strong>不可直接比较</strong>；故需 (i) 用<strong>同一多语言模型</strong>（共享空间）或 (ii) 用<strong>排名融合</strong>（避免分数比较）。(d) <strong>评估</strong>——需按语言/模态分层报告（平均分会掩盖差距）。<strong>融合方法</strong>——(1) <strong>排名融合（RRF）</strong>——<strong>最通用</strong>（避免分数尺度问题）；对多语言/多模态尤其适用。(2) <strong>分数融合</strong>——需归一化（按语言/模态分别归一化）；更复杂但信息更多。(3) <strong>学习式融合</strong>——用 LTR 学（可含'语言/模态'作为特征）；最优但需数据。(4) <strong>路由（routing）</strong>——按查询的语言/模态<strong>路由</strong>到对应的检索器（而非融合所有）；更简单（但无法处理'混合查询'）。<strong>配额分配</strong>——(a) <strong>按查询语言</strong>（中文查询多给中文通道）；(b) <strong>按模态</strong>（图文混合查询各给一部分）；(c) <strong>按业务优先级</strong>（某些语言/模态需保证曝光）；(d) <strong>动态调整</strong>（按查询特征）。<strong>实践建议</strong>——(a) <strong>多语言</strong> → 用多语言编码器（共享空间）+ 按语言分层评估；(b) <strong>多模态</strong> → CLIP 式共享空间 + RRF 融合；(c) <strong>混合空间</strong> → 用 RRF（避免分数比较）；(d) <strong>配额</strong>按查询特征动态分配；(e) <strong>评估分层</strong>（按语言/模态）。<strong>度量</strong>——(a) 各语言/模态的 Recall/NDCG；(b) 跨语言/跨模态的检索质量；(c) 融合前后的对比；(d) 语言/模态间的一致性（是否偏向某一种）。

深度剖析与工程权衡：① <strong>'分数不可比'是多语言/多模态融合的核心难点</strong>——与模态间隙同源；面试中能指出'用 RRF 避免分数比较'是深度理解的标志。② <strong>'共享空间 vs 排名融合'的取舍</strong>——共享空间（同一多语言模型）可直接比分数；不同空间则需排名融合。③ <strong>'路由'比'融合'更简单</strong>——若查询语言/模态明确，直接路由到对应检索器；但无法处理'混合查询'。④ <strong>'按语言/模态分层评估'是纪律</strong>——平均分会掩盖差距（与 VLM 多语言问题同源）。⑤ <strong>'配额按查询特征动态分配'</strong>——如中文查询多给中文通道、图文查询各给一半；这比固定配额更优。⑥ <strong>面试要点</strong>——被问'多语言/多模态检索怎么融合'，应给出'<strong>共享空间或排名融合（RRF）+ 配额分配（按查询特征）+ 路由 + 分层评估</strong>'与'<strong>分数不可比是核心难点</strong>'；能指出'平均分掩盖差距'是深度理解的标志。