M9-017M9: ML & AI 系统设计实战特征数据、索引分片与灰度基建Medium
⚡闪卡盲测➔掌握度:
设计百亿级向量分布式检索引擎(HNSW vs IVF-PQ/DiskANN 选型与租户分片扩容)
🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
📐 核心数学机理公式
⚡ 一句话直击要害答案
基于容量预算在内存 HNSW、SQ8/PQ 压缩 + SSD DiskANN 之间架构权衡,利用租户 Routing Key 消除全分片广播扇出,并以 LSM Delta 段平滑增量更新。
📌 核心要点提炼
- •L1 容量真相:百亿条 768 维 FP32 光原始数据就占 30TB,加上 HNSW 图边可达 50TB+
- •L2 内存+NVMe 协同:内存里放 SQ8 或 Binary Quantization 草图粗筛,从 NVMe 预读 Top-3x 连续高精向量精算 Rescoring
- •L2 路由剪枝:高过滤多租户库按 tenant_id 分区路由,避免每次提问全百台分片全员 Fan-out
- •L3 蓝绿扩容与清理:新增量先进小内存 Delta,后台异步 LSM Compaction 合并同时彻底物理清理 Tombstone 墓碑
📐 数学机理与严密推导
在内存中保存
1/16~1/32 体积的压缩向量并用 3x–5x Oversampling 拉取候选后从 SSD 读全精向量精排,实测可在只耗 1/16 内存下保住 98%+ Recall@10。🏭 深度剖析与工业落地权衡
升级向量模型维数或换用全新模型家族时,建立独立别名新 Collection 双写并后台异步平滑灰度切换流量,杜绝同一表内新旧向量空间混算点积。
⚠️ 常见面试陷阱与高频失分点
- ✕高并发删除/更新向量只加软标记却长期不 Compaction,图节点遍布幽灵死链延迟翻倍
- ✕未预先估算 HNSW 图连接指针额外内存开销导致生产 OOM
🎯 面试官连环追问与延伸考察
- ?DiskANN (Vamana Graph) 在 SSD 上的页面随机 I/O 比经典 IVF-PQ 为什么更友好?
- ?面对某个超大客户数据量顶 1000 个小客户的数据倾斜 Hot-Shard 怎么自动拆分?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
📚