ColPali Late-Interaction 视觉检索

ColPali 把 PDF 页面直接送入 VLM (PaliGemma) 输出 Patch 级向量, 查询文本经 LLM 编码为 token 级向量, 用 ColBERT 式 Late-Interaction MaxSim 打分: $$\text{sim}(q, d) = \sum_i \max_j \langle q_i, d_j \rangle$$ 其中 $q_i$ 为查询第 $i$ 个 token 向量, $d_j$ 为文档第 $j$ 个图像 Patch 向量——每个查询 token 取与所有 Patch 的最大余弦相似度再求和。查询与文档向量先独立计算、在检索时才交互 (Late-Interaction), 文档向量可离线预计算。

文档/PDF 视觉问答与检索 (如论文检索), 面试常问"为什么能免 OCR"。

传统管线先 OCR 提取文本再检索, 丢失版式、图表与公式信息且级联误差大; ColPali 直接对页面图像做检索, 免去 OCR 与版面解析, 在文档检索基准上相对"OCR + 文本检索"管线 F1 提升 7–40% (最高 +20 个点), 且索引更快、存储更省。

检验攻克程度：针对「ColPali Late-Interaction 视觉检索」专属刷题排雷

做单选排雷题、推导选项机制，答错自动收录进专属错题本。