Dense Retrieval & Dual-Encoders: 解释跨模态稠密检索的挑战。

Core Concept: 需把不同模态（文本/图像/音频）映射到共享空间；挑战是模态间隙、数据对齐质量、以及模态内的细节保留。

数学机理：<strong>跨模态稠密检索的设定</strong>——把不同模态（文本/图像/音频/视频）映射到<strong>共享向量空间</strong>，使'跨模态相似度'可比（如'文本查询 → 检索图像'）。<strong>代表</strong>——CLIP/SigLIP（图文）、CLAP（音频-文本）、ImageBind（多模态）。<strong>挑战</strong>——(1) <strong>模态间隙（modality gap）</strong>——图像与文本嵌入在共享空间中形成<strong>两个分离的锥形区域</strong>（见 M6 的模态间隙题）；后果：(a) <strong>跨模态相似度的绝对值不可解释</strong>（'0.3'可能是高度相关）；(b) 阈值难设（需按数据集校准）；(c) 跨模态与模态内的相似度<strong>不可直接比较</strong>。(2) <strong>数据对齐质量</strong>——跨模态训练数据（如网络图文对）<strong>噪声大</strong>（alt-text 与图不总匹配）；后果：(a) 学到的对齐不精确；(b) 需要大规模数据'稀释'噪声。(3) <strong>细节保留 vs 全局语义</strong>——跨模态嵌入通常是<strong>全局的</strong>（整图 ↔ 整句）；后果：(a) <strong>无法做细粒度检索</strong>（'图左上角的红色物体'）；(b) 无法做'区域-文本'检索（需 region-level 嵌入，如 RegionCLIP）；(c) 组合性弱（见 CLIP 的局限题）。(4) <strong>模态内的能力损失</strong>——为了'跨模态对齐'，可能牺牲'模态内的表示质量'（如 CLIP 的视觉特征在纯视觉任务上不如 DINOv2）。(5) <strong>多语言</strong>——文本塔以英语为主，故非英语查询效果差。(6) <strong>长文本</strong>——文本塔有长度限制（CLIP 77 token），长文本被截断。<strong>缓解手段</strong>——(a) <strong>更强/更大的编码器 + 更多数据</strong>；(b) <strong>区域级嵌入</strong>（RegionCLIP、GLIP）支持细粒度；(c) <strong>多向量/晚交互</strong>（ColBERT 式）保留更多细节；(d) <strong>多语言编码器</strong>（M-CLIP）；(e) <strong>去偏</strong>（假负样本去偏）；(f) <strong>检索 + 精排</strong>（用 VLM 对候选精排）；(g) <strong>混合检索</strong>（跨模态稠密 + 元数据/标签的稀疏）。<strong>应用</strong>——(a) <strong>图文检索</strong>（商品图搜、以图搜图）；(b) <strong>视频检索</strong>（文本→视频片段）；(c) <strong>音频检索</strong>（文本→音频）；(d) <strong>多模态 RAG</strong>（图文混合知识库）。<strong>评估</strong>——(a) <strong>Recall@k</strong>（跨模态检索）；(b) <strong>组合性基准</strong>（Winoground/ARO）；(c) <strong>细粒度基准</strong>（区域检索）；(d) <strong>多语言基准</strong>。<strong>实践建议</strong>——(a) <strong>召回</strong>用跨模态双塔（快）；(b) <strong>精排</strong>用 VLM/cross-encoder（准）；(c) <strong>细粒度需求</strong>用区域级嵌入或多向量；(d) <strong>多语言</strong>用多语言编码器；(e) <strong>校准阈值</strong>（因模态间隙）。<strong>度量</strong>——(a) 跨模态 Recall@k；(b) 组合性/细粒度基准；(c) 延迟与存储。

深度剖析与工程权衡：① <strong>'模态间隙'是跨模态检索的独特挑战</strong>——它使阈值校准成为必需；面试中能指出这一点是深度理解的标志。② <strong>'全局嵌入无法细粒度'</strong>——这是跨模态检索与'通用 VLM'的差距来源；故需区域级或多向量方案。③ <strong>'数据噪声'是训练瓶颈</strong>——大规模弱对齐数据（网络图文对）是唯一可行的路径；故需'规模稀释噪声'。④ <strong>'模态内能力损失'</strong>——跨模态对齐可能牺牲模态内的表示质量；故有'双塔（跨模态 + 模态内）'的设计。⑤ <strong>'检索 + 精排'是实用方案</strong>——用跨模态双塔召回、用 VLM 精排；兼顾效率与精度。⑥ <strong>面试要点</strong>——被问'跨模态检索难在哪'，应给出'<strong>模态间隙 + 数据噪声 + 细节保留（全局嵌入）+ 多语言 + 长文本</strong>'与'<strong>缓解（区域嵌入/多向量/多语言/检索+精排）</strong>'；能指出'模态间隙使阈值需校准'是深度理解的标志。