⬅ AI 全产业总图/Layer 09 · 09. AI 安全、防护、治理与可观测性
9.4

9.4 全链路质量观测、数据漂移与故障事件响应

OpenTelemetry GenAI 语义规范、端到端 Span 分布式链路追踪、Embedding 高维向量漂移检测 (MMD/Wasserstein)、生成质量在线探针与 SLO 错误预算熔断告警。

端到端分布式链路追踪与 OpenTelemetry 规范

OpenTelemetry GenAI 语义约定标准化属性 (`gen_ai.system`, `gen_ai.usage` 等)、嵌套 Agent / Tool / RAG 级联 Span 追踪、首字延迟 (TTFT) 与每步耗时 (TPOT) 分解、实时 Payload 审计与可视化分析。

🏢 标杆代表企业
Langfuse、Arize AI (Phoenix)、Datadog、Dynatrace、Braintrust
🛠️ 核心技术栈
Distributed TracingOpenTelemetry GenAISpan CascadeTTFT / TPOTLangfuseArize PhoenixDatadog
💼 典型岗位与薪资
Observability Engineer、LLMOps Engineer、AI Platform Engineer
💰 $195K - $410K / 年 (AI 可观测性与链路分析) | ¥52W - ¥122W / 年
📚 先决掌握技能:OpenTelemetry GenAI 规范与 Trace / Span 数据结构 • 分布式链路追踪导出器与 Grafana / Datadog APM 接入 • 首字延迟 (TTFT) 与步进耗时 (TPOT) 性能瓶颈分析 • 大模型非结构化输入输出脱敏与采样策略

生成质量在线监控、特征漂移与事件演练告警

基于最大均值差异 (MMD) 与群体稳定性指标 (PSI) 的高维 Embedding 向量特征漂移检测、在线生成质量与点赞点踩探针、SLO 错误预算消耗速率 (Burn Rate) 告警与跨层安全故障联合应急处置。

🏢 标杆代表企业
Arize AI、Langfuse、WhyLabs、Datadog、Dynatrace
🛠️ 核心技术栈
Embedding DriftMMDPSIQuality ProbesError Budget Burn RateIncident ResponseWhyLabsArize AI
💼 典型岗位与薪资
Observability Engineer、SRE、Evaluation Engineer
💰 $190K - $400K / 年 (数据漂移与可靠性工程) | ¥50W - ¥118W / 年
📚 先决掌握技能:高维向量空间统计漂移算法 (MMD / Wasserstein / PSI) • 在线质量评分探针与用户行为反馈循环 (Flywheel) • SRE 错误预算消耗速率告警算法 (Multi-Window Burn Rate) • AI 安全与性能故障应急预案与快速降级 Runbook