⬅ AI 全产业总图/Layer 06 · 06. 推理加速与模型服务
6.4

6.4 生产级推理引擎、控制面与高可用治理

vLLM / SGLang / TensorRT-LLM 高性能引擎、Continuous Batching 连续批处理、Multi-LoRA 并发挂载、TTFT/TPOT 延迟 SLO 治理、自适应准入与容灾回滚。

高性能推理引擎与 Iteration-level 连续批处理

vLLM、SGLang、TensorRT-LLM、TGI 引擎架构、Iteration-level 迭代级连续批处理 (Continuous Batching)、Multi-LoRA 动态并发挂载、多 GPU 跨卡张量服务化与流式 SSE / gRPC 高吞吐传输协议。

🏢 标杆代表企业
vLLM Community、SGLang、NVIDIA (TensorRT-LLM)、Hugging Face (TGI)、Groq
🛠️ 核心技术栈
vLLMSGLangTensorRT-LLMContinuous BatchingMulti-LoRATGISSE / gRPCModel Serving
💼 典型岗位与薪资
Inference Engineer、AI Platform Engineer、Backend Performance Engineer
💰 $235K - $510K / 年 (生产推理引擎与并发) | ¥70W - ¥165W / 年
📚 先决掌握技能:异步事件循环 (Python Asyncio / uvloop / Rust) • 迭代级批处理调度队列与状态转移机制 • Multi-LoRA 权重动态载入与 CUDA Graph 兼容 • 流式生成协议 (SSE / HTTP2 / gRPC) 与长连接管理

推理服务控制面、SLO 治理、弹性伸缩与容灾回滚

首字延迟 (TTFT) 与每步耗时 (TPOT) P95/P99 毫秒级延迟 SLO 体系监控、自适应准入控制与过载保护 (Admission Control / Load Shedding)、多模型网关、GPU 实例弹性伸缩 (Autoscaling)、金丝雀发布 (Canary) 与秒级故障回滚。

🏢 标杆代表企业
Fireworks AI、Together AI、Anyscale、Modal、Baseten、Groq
🛠️ 核心技术栈
SLO GovernanceTTFT / TPOTAdmission ControlLoad SheddingAutoscalingCanary DeploymentRollbackCost per Token
💼 典型岗位与薪资
Serving Reliability Engineer、AI Platform Engineer、MLOps / SRE Architect
💰 $225K - $480K / 年 (服务可用性与控制面) | ¥65W - ¥155W / 年
📚 先决掌握技能:大模型推理延迟指标拆解 (TTFT / TPOT / Queue Time) • 过载保护算法 (Token Bucket / CoDel / Concurrency Limit) • Kubernetes GPU 弹性伸缩策略 (KEDA / Custom Metrics) • 金丝雀流量切分、健康检查探针与自动化回滚 Runbook