Approximate Nearest Neighbors (HNSW / IVF): 解释 GPU 加速的 ANN（如 CAGRA）与硬件协同。

Core Concept: 把图搜索放到 GPU 上并行（CAGRA）；适合高吞吐低延迟场景，但受显存与数据规模限制。

数学机理：<strong>GPU 加速 ANN 的动机</strong>——ANN 检索是<strong>访存密集</strong>的（图遍历需随机访问邻居、向量比较需读取大量数据）；CPU 的随机访存受'内存带宽'与'缓存缺失'限制，而 GPU (a) <strong>带宽高</strong>（HBM 带宽是 CPU 内存的数倍）；(b) <strong>并行度高</strong>（数千线程同时处理）；(c) 适合'大量查询'或'大量距离计算'。<strong>代表实现</strong>——(1) <strong>CAGRA（CUDA ANN Graph-based）</strong>——NVIDIA 的方案：用<strong>固定出度的图</strong>（便于 GPU 并行遍历）；查询时<strong>多个查询并行</strong> + 每个查询的<strong>多邻居并行</strong>评估；<strong>优势</strong>——高吞吐（QPS 可达 CPU 方案的数倍到数十倍）、低延迟。(2) <strong>GPU 版 IVF/PQ</strong>（如 FAISS-GPU）——把距离计算放 GPU（PQ 的查表求和可高度并行）；适合'批量查询'。(3) <strong>GPU 版暴力搜索</strong>——对'中等规模'（如百万级）可用 GPU 暴力搜索（精确、无召回损失）；<strong>优点</strong>——精确；(b) 缺点——规模受限（显存）。<strong>适用场景</strong>——(a) <strong>高吞吐</strong>（如推荐系统的候选生成，每请求需检索多次）；(b) <strong>大批量查询</strong>（离线批量检索、评估）；(c) <strong>低延迟要求</strong>（GPU 的距离计算极快）；(d) <strong>中等规模</strong>（能放进显存）。<strong>限制</strong>——(a) <strong>显存容量</strong>——图 + 向量需放显存（如 1 亿 × 768 维 FP32 = 307 GB，远超单卡显存）；故 GPU 方案常配合<strong>量化</strong>（PQ/二值）或<strong>分片</strong>；(b) <strong>构建成本</strong>——GPU 建图需要设计（CAGRA 有 GPU 构建）；(c) <strong>小 batch 时优势不明显</strong>——单查询的图遍历是<strong>串行</strong>的（贪心下降），并行度有限；故'低 QPS、单查询'场景 GPU 优势不大；(d) <strong>数据传输开销</strong>——查询需从 CPU 传到 GPU（小批量时开销占比高）。<strong>硬件协同</strong>——(a) <strong>显存带宽</strong>（HBM）决定距离计算速度；(b) <strong>L2 缓存</strong>（影响随机访存）；(c) <strong>张量核心</strong>（可用于矩阵化的距离计算）；(d) <strong>多卡</strong>（分片）。<strong>与其他技术的关系</strong>——(a) 与<strong>量化</strong>配合（省显存）；(b) 与<strong>分片</strong>配合（多卡）；(c) 与<strong>批处理</strong>配合（攒批提高并行度）。<strong>实践建议</strong>——(a) <strong>高吞吐场景</strong> → GPU ANN（CAGRA）；(b) <strong>大规模</strong> → GPU + 量化 + 分片；(c) <strong>低 QPS</strong> → CPU ANN（GPU 优势不大）；(d) <strong>评估</strong>（QPS、延迟、显存、召回）。<strong>度量</strong>——(a) QPS（不同 batch size）；(b) 延迟（P50/P99）；(c) 显存占用；(d) 召回率；(e) 成本（GPU 时租）。

深度剖析与工程权衡：① <strong>'ANN 是访存密集 → GPU 的带宽与并行优势'</strong>——这是 GPU 加速的根本动机；面试中能指出这一点是深度理解的标志。② <strong>'小 batch 时 GPU 优势不明显'</strong>——因为单查询的图遍历是串行的；故 GPU ANN 适合'高吞吐'而非'低 QPS 低延迟'。③ <strong>'显存是主要限制'</strong>——故 GPU 方案必须配量化/分片；这是'1 亿 × 768 维 = 307 GB'的直接后果。④ <strong>'CAGRA 用固定出度图'</strong>——便于 GPU 并行（内存布局规则）；这是'算法适配硬件'的典型案例。⑤ <strong>'数据传输开销'</strong>——小批量时 CPU→GPU 的传输占比高；故需'攒批'。⑥ <strong>面试要点</strong>——被问'GPU 怎么加速 ANN'，应给出'<strong>访存密集 → GPU 带宽/并行优势 + CAGRA（固定出度图）+ 限制（显存/小 batch/传输）</strong>'与'<strong>量化+分片配合</strong>'；能指出'小 batch 时优势不明显'是深度理解的标志。