L2S2 · 数据与检索S3 · 模型与编排S4 · 交互与 HITLS5 · 评测与观测S6 · 安全与成本Verified: 2026-11-15
千万级文档多租户企业 RAG 与混合 Agent 系统设计蓝图
对标大厂 Staff AI Engineer / MLE 系统设计终面的全链路架构蓝图:涵盖增量文档变更同步(CDC)、Pre-Filter RBAC ACL、语义路由与大小模型级联、混合重排及全链路 P95 < 1.5s 压测预算。
适用场景 (Best For)
10M+ 跨部门异构文档(Confluence/Google Drive/PDF/SQL)统一检索平台架构定型,以及大厂 L5/L6 AI System Design 高频押题拆解。
人机边界 (Human-AI Boundary)
企业敏感权限组变更采用『索引层预过滤 + 检索结果实时鉴权双保险(Defense-in-Depth)』;新增连接器与数据域分类必须经过安全团队审批。
常见反模式与避坑 (Anti-Patterns)
- Re-indexing entire Confluence/Drive workspaces nightly instead of content-hash deduplicated incremental CDC sync
- Using a single giant top-K context dump (k=30) without Cross-Encoder reranking, hitting Lost-in-the-Middle accuracy collapse and 5x token waste
延迟成本与评测门禁
Online Pipeline Budget: Auth/ACL 25ms -> Query Rewrite 120ms -> Parallel BM25+HNSW 110ms -> Cross-Encoder Top-40 160ms -> First Token < 750ms · Dense embedding dimensionality + Cross-Encoder GPU pods + Frontier synthesis tokens
- Permission-Scoped Recall@20 & MRR@5: Recall@20 >= 0.93 under strict ACL pre-filtering; MRR@5 >= 0.84 (Evaluate across both head single-tenant and constrained tail-user ACL groups)
- ACL Propagation Sync SLA: < 60 seconds from IdP/Drive permission revocation to vector visibility block (Pair index metadata with live fast-path IdP entitlement check on final candidates)
💰 商业 ROI 模型与证据等级
production_practice🏗️ 端到端系统架构流水线
Step 1: 异步 CDC 增量摄取与 Docling 分层分块
基于文档内容 SHA-256 去重,提取 Parent Section + Child Chunk + ACL Group Array 写入分布式索引。
Step 2: 并发双路召回、RRF 融合与特征网关
≤ 380ms
优先命中租户隔离语义缓存;未命中则并行跑 Query 改写、BM25 与 Pre-Filtered ANN,再送 Cross-Encoder 重排。
Step 3: 分级模型推理与流式 OTel 观测
≤ 650ms
简单摘要走 vLLM 私有小模型,复杂跨文档合成路由至旗舰模型并记录 OTel Span。
⚖️ 工程选型与架构权衡矩阵
Shared Collection + Metadata ACL Pre-Filter
适用条件:数万名员工共享公司文档但跨组权限错综复杂
核心权衡:单一员工所属群组过多时,窄权限用户 HNSW 遍历易触发过早剪枝(需配合 HNSW ACORN/Iterative Scan)
Namespace/Partition Per Enterprise Customer
适用条件:B2B SaaS 多外部租户(租户间物理/逻辑完全隔离)
核心权衡:小租户碎片分片多、跨客户联邦查询不可用(这恰恰是安全优势)
🎤 面试高频追问与架构答辩题
- If a user belongs to only 2 restricted ACL folders out of 10M vectors, why does standard HNSW pre-filtering suddenly degrade recall or QPS, and how do you fix it?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
上下游关联知识链路
[L3] 项目实战:支持千组 ACL 预过滤、增量 CDC 与语义缓存的多租户企业 RAG 平台[HubA] 企业情报枢纽 · Amazon AWS/Bedrock AI、电商搜索与 Leadership Principles 解析[HubA] 企业情报枢纽 · Anthropic AI 工程栈与面试解析[HubA] 企业情报枢纽 · Databricks AI 工程栈与面试解析[HubA] 企业情报枢纽 · Google DeepMind / Cloud AI 与研发面试解析[HubA] 企业情报枢纽 · Meta AI/MLE 推荐排序、Llama 与系统面试解析[HubA] 企业情报枢纽 · NVIDIA TensorRT-LLM、GPU 系统软件与 AI Infra 面试解析[HubA] 企业情报枢纽 · OpenAI AI 工程栈与面试解析[HubA] 企业情报枢纽 · Snowflake AI 工程栈与面试解析[HubA] 企业情报枢纽 · Stripe AI 工程栈与面试解析[HubB] 岗位能力透镜 · AI 应用与智能体系统工程师 (AI Engineer)[HubB] 岗位能力透镜 · AI Infra / LLM Inference Systems Engineer[HubB] 岗位能力透镜 · 机器学习与大模型推理系统工程师 (ML Engineer)[HubB] 岗位能力透镜 · 后端 / 全栈工程师向 AI 系统迁移视图 (Software Engineer)[L0 Card] 千万级文档企业 RAG 系统设计[L0 Card] 在线多路并行检索网关[L0 Card] 离线文档解析与向量快照流水线[L0 Card] 企业级多租户隔离与 RBAC 权限[L0 Card] 容量估算与延迟预算推演[L0] Docling 版面布局与复杂表格解析器[L0] vLLM PagedAttention 与连续批处理推理引擎[L0] RAG 三元组忠实度评测与多跳幻觉故障原语[L0] 大模型 Token FinOps、前缀缓存与语义缓存网关原语[L1] 复杂长 PDF 混合解析与结构化重排入库模式[L1] Stage 3 · 有界状态机与 Plan-and-Execute 工具编排模式[L1] Stage 6 · 多租户向量 ACL 隔离、提示注入防火墙与配额熔断模式[L1] Stage 5 · 黄金测试集 CI/CD 回归门禁与轨迹可观测模式
站内交互工具与信源依据
- AWS Prescriptive Guidance — Multi-Tenant RAG Architecture Patterns (official_docs, 2026-11-15)
- Databricks Compound AI Systems Engineering Architecture (engineering_blog, 2026-11-15)