RAG End-to-End Architecture: 解释 embedding 模型的选择与微调。

Core Concept: 按语言/领域/最大长度选基座；用对比学习在领域数据上微调可显著提升召回，需构造难负样本。

数学机理：<strong>嵌入模型的选择维度</strong>——(a) <strong>语言</strong>（单语言 vs 多语言）；(b) <strong>领域</strong>（通用 vs 代码/法律/医疗/科学）；(c) <strong>最大序列长度</strong>（如 512 vs 8192；需与 chunk 大小匹配）；(d) <strong>是否支持指令</strong>（如 E5/BGE 的 <code>query:</code> / <code>passage:</code> 前缀，或自然语言指令）；(e) <strong>维度</strong>（384/768/1024/更高；影响索引内存与速度）；(f) <strong>许可与成本</strong>（开源 vs API）。<strong>通用模型在专业领域的局限</strong>——通用嵌入模型在通用语料上训练，故对<strong>领域术语</strong>（如医学缩写、法律条文、代码符号）的语义把握不足：表现为'同义术语无法匹配'、'相近概念被分得过开'。<strong>微调嵌入模型</strong>——用<strong>领域内的（查询，正文档）对</strong>做<strong>对比学习</strong>：L=−log[ e^{s(q,d⁺)/τ} / (e^{s(q,d⁺)/τ} + Σ_j e^{s(q,d_j⁻)/τ}) ]，其中 d⁺ 是相关文档、d_j⁻ 是负样本。<strong>关键：难负样本（hard negatives）的挖掘</strong>——(a) <strong>随机负样本</strong>太易（模型已能区分），提供的梯度信号弱；(b) <strong>难负样本</strong>——用当前模型检索出'排名靠前但不相关'的文档作为负样本（'半难负样本'最好：模型认为相似但实际不相关）；(c) <strong>假负样本（false negatives）</strong>——需注意'标记为负但实际相关'的样本会损害训练（需去噪）。<strong>训练数据的来源</strong>——(a) <strong>人工标注</strong>（查询-文档相关性，贵）；(b) <strong>从点击/使用日志挖掘</strong>（用户点击的文档视为相关）；(c) <strong>用 LLM 生成</strong>（为文档生成可能的问题，即'反向生成'）；(d) <strong>从现有 QA 数据集转换</strong>。<strong>实证</strong>——在专业领域（医疗、法律、代码），微调嵌入模型通常带来<strong>显著的召回提升</strong>（如 Recall@10 提升 10+ 点），是 RAG 优化的高性价比手段。<strong>其他优化</strong>——(a) <strong>多向量/晚交互</strong>（ColBERT 式）；(b) <strong>混合检索</strong>（与 BM25 互补）；(c) <strong>查询改写</strong>（见后续题）。<strong>评估</strong>——用检索指标（Recall@k/MRR）在领域测试集上评估微调效果。

深度剖析与工程权衡：① <strong>'难负样本'是微调效果的关键</strong>——没有难负样本，模型学不到'细粒度区分'（只学到'粗粒度主题匹配'）；故挖掘难负样本是投入产出比最高的工作。② <strong>'假负样本'的风险</strong>——用检索结果当负样本时，'排名靠前但实际相关'的文档会被误标为负；这会教模型'把相关文档推远'，损害效果。故需 (a) 过滤明显相关的、(b) 用多模型交叉验证、(c) 人工抽检。③ <strong>'合成查询'的实用价值</strong>——用 LLM 为每个文档生成'这个文档能回答的问题'，即可获得（查询，文档）对；这是<strong>低成本获取训练数据</strong>的常用方法（无需人工标注）。④ <strong>与'chunk 大小'的匹配</strong>——嵌入模型的最大长度需 ≥ chunk 大小（否则截断）；且训练时的片段长度应与推理时一致（否则分布不匹配）。⑤ <strong>'指令式嵌入'的注意</strong>——用 E5/BGE 等需加 <code>query:</code>/<code>passage:</code> 前缀；漏加会显著降低效果（这是常见的部署错误）。⑥ <strong>面试要点</strong>——被问'如何提升 RAG 召回'，应给出'<strong>微调嵌入模型（领域对比学习）+ 难负样本挖掘 + 合成查询数据 + 混合检索</strong>'的组合，并强调'<strong>难负样本是关键、假负样本需过滤</strong>'；能指出'指令式嵌入的前缀不能漏'是深度理解的标志。