Dense Retrieval & Dual-Encoders: 解释稠密检索的向量维度与存储成本权衡。

Core Concept: 维度越高表达力越强但存储与检索成本 ∝ 维度；用 MRL（套娃表示）或量化（PQ/二值）压缩。

数学机理：<strong>存储成本的量化</strong>——向量索引的存储 = N（文档数）× d（维度）× 字节数/元素；以 1 亿文档、768 维、FP32 为例：1e8×768×4≈<strong>307 GB</strong>（仅向量本身，不含索引结构）；这在实际部署中是巨大的成本。<strong>维度的权衡</strong>——(a) <strong>维度高</strong>——表达力强（能编码更多信息）、检索精度高；但存储与检索成本 ∝ d。(b) <strong>维度低</strong>——省成本；但精度下降。<strong>压缩手段</strong>——(1) <strong>MRL（Matryoshka Representation Learning，套娃表示）</strong>——训练时让<strong>嵌入的前缀子向量</strong>也能独立使用（即'前 64 维'也是一个可用的嵌入）；<strong>实现</strong>——在训练时对多个截断长度（如 64/128/256/768）同时计算损失；<strong>效果</strong>——(a) 可用'短向量'做快速粗筛、'长向量'做精排；(b) 可<strong>按需选择维度</strong>（精度-成本的连续调节）；(c) 无需重新训练（同一模型出不同维度）。(2) <strong>量化（quantization）</strong>——(a) <strong>标量量化</strong>（FP32→FP16/INT8）——省 2~4 倍；(b) <strong>乘积量化（PQ）</strong>——把向量切段、每段用量化码本（见 ANN 索引的 PQ 题）——省 10~100 倍（但损失精度）；(c) <strong>二值量化（binary）</strong>——把每个维度压到 1 bit（用符号）；<strong>省 32 倍</strong>（FP32→1bit），且<strong>可用汉明距离快速检索</strong>（位运算）；<strong>代价</strong>——精度损失（可用'二值粗筛 + 全精度精排'补偿）；(d) <strong>残差量化（RQ）</strong>——多级量化提升精度。(3) <strong>降维</strong>——(a) <strong>PCA</strong>（线性降维，简单）；(b) <strong>学习式降维</strong>（训练一个投影层）；(c) 直接训练低维模型（如 d=256 的嵌入）。(4) <strong>分片（sharding）</strong>——把索引分到多台机器（每台存一部分）；<strong>效果</strong>——单机内存不受限；<strong>代价</strong>——需'路由'（查询发到哪些分片）与'合并结果'。<strong>其他成本</strong>——(a) <strong>索引结构开销</strong>——HNSW 的图结构可能占向量的 50%~100%（甚至更多）；(b) <strong>内存 vs 磁盘</strong>——DiskANN 等把索引放磁盘（省内存但延迟高）。<strong>实践建议</strong>——(a) <strong>1 亿级以下</strong> → FP32/FP16 + HNSW（内存可承受）；(b) <strong>十亿级</strong> → 量化（PQ/二值）+ 分片；(c) <strong>需要精度-成本可调</strong> → MRL；(d) <strong>极致省内存</strong> → 二值 + 精排；(e) <strong>评估</strong>存储、延迟、召回三者。<strong>度量</strong>——(a) 索引大小；(b) 召回率；(c) QPS/延迟；(d) 成本（内存/磁盘）。

深度剖析与工程权衡：① <strong>'存储 ∝ N×d×字节'是成本的第一性原理</strong>——故'量化'与'分片'是十亿级检索的必需；面试中能给出'1 亿 × 768 维 ≈ 307 GB'的量化直觉是深度理解的标志。② <strong>'MRL 的按需维度'很实用</strong>——它使'精度-成本'可连续调节（同一模型）；且支持'粗筛 + 精排'的两阶段。③ <strong>'二值量化省 32 倍'</strong>——它是'极致省内存'的方案（且汉明距离可用位运算）；代价是精度（需精排补偿）。④ <strong>'索引结构开销'常被低估</strong>——HNSW 的图结构可能比向量本身更大；故'总内存'需算上索引。⑤ <strong>'量化 + 精排'是标准技巧</strong>——用压缩向量做粗筛（快、省）、用全精度（或 cross-encoder）做精排；这样量化的精度损失只影响候选集大小。⑥ <strong>面试要点</strong>——被问'向量存储怎么省'，应给出'<strong>量化（PQ/二值/标量）+ 降维（MRL/PCA）+ 分片 + 量化+精排</strong>'与'<strong>1 亿 × 768 维 ≈ 307 GB 的量化直觉</strong>'；能指出'索引结构开销常被低估'是深度理解的标志。