⚡闪卡盲测➔
HubBS3 · 模型与编排S6 · 安全与成本Verified: 2026-11-17

岗位能力透镜 · AI Infra / LLM Inference Systems Engineer

面向 GPU 集群算力最大化与极致 P95 TTFT/TPOT 服务的硬核系统岗位,核心考察 vLLM PagedAttention、SGLang RadixAttention、ZeRO/TP/PP 分布式通信、AWQ/FP8 量化及高并发推理网关设计。

适用场景 (Best For)

后端 SDE、C++/Go 分布式工程师及嵌入式底层架构师快速切入 AI 基础设施与大模型推理优化岗位。

人机边界 (Human-AI Boundary)

GPU 显存预留水位与自动扩缩容上限需经严格压测锁定,严禁未测并发 KV 膨胀直接上调单机调度并发。

常见反模式与避坑 (Anti-Patterns)

  • Treating distributed AI inference like stateless web microservices without calculating KV Cache HBM footprints or Compute-vs-Memory-Bandwidth rooflines
  • Deploying 70B+ models on naive static batching instead of continuous iteration-level batching and prefix caching

延迟成本与评测门禁

Target TTFT < 200ms P95 and Memory Utilization > 90% under continuous batching · GPU-hours per 1M output tokens across Prefill/Decode phases

  • Serving Throughput & Hardware Utilization Benchmark: >= 90% KV cache block efficiency; 0 OOM restarts under 2x burst soak tests (Simulate bursty prompt lengths in /tools/science-coding Part H & Part I)

💰 商业 ROI 模型与证据等级

curated_competency_matrix

🎯 岗位能力权重矩阵 (Hub B)

大模型推理引擎与 KV 内存调度40%
Prefill/Decode 分离、Continuous Batching、投机采样
分布式并行训练与量化算子手撕35%
ZeRO-1/2/3、Megatron TP/All-Reduce、AWQ/FP8 缩放
系统高可用、多租户限流与 FinOps25%
前缀感知负载均衡、Redis TPM 熔断、OOM 隔离

🎤 面试高频追问与架构答辩题

  1. Why is LLM autoregressive Decode memory-bandwidth bound while Prefill is compute-bound, and how does PD disaggregation resolve interference between them?
  2. Walk through how much GPU HBM is required per rank for a 70B FP16 model under ZeRO-1 vs ZeRO-2 vs ZeRO-3 across 8x 80GB H100s.
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔

上下游关联知识链路

[HubA] 企业情报枢纽 · Meta AI/MLE 推荐排序、Llama 与系统面试解析[HubA] 企业情报枢纽 · NVIDIA TensorRT-LLM、GPU 系统软件与 AI Infra 面试解析[L0 Card] vLLM PagedAttention 与连续批处理[L0 Card] KV Cache 与 PagedAttention[L0 Card] Prompt Caching/RadixAttention[L0] vLLM PagedAttention 与连续批处理推理引擎[L0] SGLang RadixAttention 自动前缀复用与零拷贝调度引擎[L0] 大小模型置信度级联路由与成本-质量帕累托网关原语[L1] Stage 6 · SaaS 多租户 Token 预算限流与渐进式降级熔断模式[L1] Stage 3 · 结构化输出 FSM 受限解码、推理保护与 Pydantic 校验模式[L2] 千万级文档多租户企业 RAG 与混合 Agent 系统设计蓝图[L3] 可验证财务证据链的 SEC 10-K 投研 Copilot(实战交付项目)[HubA] 企业情报枢纽 · OpenAI AI 工程栈与面试解析[HubA] 企业情报枢纽 · Anthropic AI 工程栈与面试解析[HubA] 企业情报枢纽 · Databricks AI 工程栈与面试解析[HubA] 企业情报枢纽 · Google DeepMind / Cloud AI 与研发面试解析

站内交互工具与信源依据