Dense Retrieval & Dual-Encoders: 解释稠密检索的'指令式嵌入'与任务特定嵌入。

Core Concept: E5/BGE 等要求查询与文档加不同前缀（如 'query:'/'passage:'），使同一模型适配多种任务（检索/分类/聚类）。

数学机理：<strong>指令式嵌入（instruction-based embedding）</strong> 的思路——在输入前加<strong>任务指令/前缀</strong>，让同一个模型能'按指令'产出不同用途的嵌入。<strong>代表</strong>——(1) <strong>E5（EmbEddings from bidirEctional Encoder rEpresentations）</strong>——要求查询加 <code>query: </code>、文档加 <code>passage: </code> 前缀；<strong>为什么</strong>——因为'查询'与'文档'的<strong>语言形式不同</strong>（短问题 vs 长段落）；加不同前缀使模型'知道自己在编码什么'，从而产出'可比但不相同'的嵌入（<strong>非对称嵌入</strong>）。(2) <strong>BGE</strong>——用指令（如 <code>为这个句子生成表示以用于检索相关文章：</code>）；(3) <strong>GTE / Instructor</strong>——用自然语言指令（如 'Represent the document for retrieval:'）。(4) <strong>多任务指令</strong>——用不同指令区分任务（检索 / 分类 / 聚类 / STS）。<strong>为什么前缀不能漏</strong>——(a) 模型<strong>在训练时见过这些前缀</strong>（训练数据都带前缀）；故推理时<strong>必须加</strong>（否则输入分布不匹配 → 显著掉点）；(b) 这是<strong>最常见的部署错误</strong>之一（很多人直接编码原始文本）。(c) 经验上漏加前缀可能损失 5~15 个点。<strong>'任务特定嵌入'的动机</strong>——同一段文本在不同任务下需要<strong>不同的嵌入</strong>：(a) <strong>检索</strong>——查询与文档的嵌入应'跨文本相似'（非对称）；(b) <strong>分类/聚类</strong>——嵌入应'同类相近'（对称）；(c) <strong>STS（语义相似度）</strong>——对称相似度；故'指令'让模型区分这些需求。<strong>与非对称嵌入的关系</strong>——(a) <strong>对称</strong>（查询与文档用同一编码器与同一前缀）——适合 STS/聚类；(b) <strong>非对称</strong>（查询与文档用不同前缀或不同编码器）——适合检索（因为查询与文档的形式与角色不同）。<strong>实践建议</strong>——(a) <strong>严格按模型卡加前缀/指令</strong>（不可漏）；(b) <strong>查询与文档用各自的前缀</strong>；(c) <strong>不要混用不同模型的前缀</strong>（前缀是模型特定的）；(d) <strong>封装成函数</strong>（避免手写遗漏）；(e) <strong>加一致性测试</strong>（对比预期与实际输入）。<strong>与其他技术的关系</strong>——(a) <strong>与 LoRA 微调</strong>——指令式是'零训练适配多任务'，LoRA 是'训练适配'；可组合；(b) <strong>与 MRL</strong>——可叠加（指令 + 套娃维度）；(c) <strong>与量化</strong>——嵌入量化不影响指令逻辑。<strong>度量</strong>——(a) 加/不加前缀的效果对比（验证部署正确性）；(b) 各任务的指标；(c) 与非对称/对称设置的效果对比。

深度剖析与工程权衡：① <strong>'漏加前缀是最常见部署错误'</strong>——它可导致 5~15 点掉点；面试中能指出这一点是深度理解的标志（且体现工程经验）。② <strong>'非对称嵌入'的动机</strong>——查询与文档的角色不同，故需不同的编码方式；这是检索的'非对称性'。③ <strong>'指令式 = 零训练多任务'</strong>——它用'输入侧的指令'替代'多套模型/微调'；这大幅降低了部署复杂度。④ <strong>'前缀是模型特定的'</strong>——不同模型的前缀不同（E5 用 'query:'、BGE 用中文指令）；混用会失效。⑤ <strong>'封装成函数 + 一致性测试'</strong>——这是避免遗漏的工程手段（与 M6 的 chat template 一致性测试同源）。⑥ <strong>面试要点</strong>——被问'指令式嵌入'，应给出'<strong>查询/文档加不同前缀 → 同一模型多任务适配</strong>'与'<strong>漏加前缀会显著掉点（最常见部署错误）</strong>'；能指出'非对称嵌入的动机'是深度理解的标志。