⬅返回 AI 全产业链总路线图
🛡️
LAYER 09

09. AI 安全、防护、治理与可观测性

代表企业:
LakeraLakeraNeMo GuardrailsNeMo GuardrailsCisco (Robust Intelligence)Cisco (Robust Intelligence)Protect AIProtect AIHiddenLayerHiddenLayerPalo Alto NetworksPalo Alto NetworksPromptfooPromptfooAzure Content SafetyAzure Content SafetyCredo AICredo AIOneTrustOneTrustwatsonx.governancewatsonx.governanceLangfuseLangfuseBraintrustBraintrustArize PhoenixArize PhoenixDatadogDatadogDynatraceDynatraceWhyLabsWhyLabsOpenAIOpenAIAnthropicAnthropicGoogle CloudGoogle CloudArize AIArize AIHugging FaceHugging FaceBigIDBigIDDatabricksDatabricksMicrosoftMicrosoft

横向贯穿整个 AI 生命周期的防线:直接与间接提示词注入防御、越狱拦截、内容安全围栏、模型合规治理与全链路可观测追踪。

📊模块视图模式:
🌐三维立体交互路线全图

09. AI 安全、防护、治理与可观测性 · 全景技术 × 企业 × 岗位交叉关联图

点击任意标杆企业、技术大类或岗位,系统将自动高亮所有关联节点并隐去无关要素;点击技术大类右侧链接可直达独立深度子页。

🔍
🏢

标杆代表企业

25
LakeraLakera
1
NeMo GuardrailsNeMo Guardrails
1
Cisco (Robust Intelligence)Cisco (Robust Intelligence)
2
Protect AIProtect AI
2
HiddenLayerHiddenLayer
1
Palo Alto NetworksPalo Alto Networks
1
PromptfooPromptfoo
1
Azure Content SafetyAzure Content Safety
2
Credo AICredo AI
2
OneTrustOneTrust
2
watsonx.governancewatsonx.governance
1
LangfuseLangfuse
2
BraintrustBraintrust
1
Arize PhoenixArize Phoenix
3
DatadogDatadog
2
DynatraceDynatrace
2
WhyLabsWhyLabs
1
OpenAIOpenAI
2
AnthropicAnthropic
2
Google CloudGoogle Cloud
2
Arize AIArize AI
3
Hugging FaceHugging Face
1
BigIDBigID
1
DatabricksDatabricks
1
MicrosoftMicrosoft
2
🛠️

核心技术栈大类 × 原子考点体系

4 大类
9.1

9.1 应用安全攻防、红蓝对抗与提示词防御

直接/间接提示词注入防御 (Instruction Hierarchy)、越狱对抗测试、NeMo Guardrails 围栏、工具调用越权防护、数据防外泄与 Safetensors 供应链防护。
独立模块页➔
提示词注入防御、越狱拦截与 NeMo Guardrails
💰 $210K - $450K / 年 (AI 安全与攻防工程)
严格指令层级控制 (Instruction Hierarchy: System > Tool > User)、语言困惑度异常过滤 (Perplexity Filter)、结构化标签隔离、NVIDIA NeMo Guardrails (Colang 2.0) 语义流输入输出校验与 OWASP Top 10 for LLM v2.0 漏洞防御。
标杆研发:LakeraLakeraNeMo GuardrailsNeMo GuardrailsCisco (Robust Intelligence)Cisco (Robust Intelligence)PromptfooPromptfooProtect AIProtect AI
Prompt InjectionJailbreak DefenseInstruction HierarchyNeMo GuardrailsColangOWASP Top 10 for LLMLakera
工具越权防护、数据防外泄与模型供应链安全
💰 $205K - $440K / 年 (运行时防护与供应链安全)
Agent 工具调用动态最小权限 Token (Scoped OAuth)、流式敏感数据脱敏 (PII Masking / Microsoft Presidio)、沙箱出口网络策略白名单 (Egress NetworkPolicy) 与模型权重恶意反序列化防护 (Safetensors / ModelScan)。
标杆研发:Protect AIProtect AIHiddenLayerHiddenLayerCisco (Robust Intelligence)Cisco (Robust Intelligence)Palo Alto NetworksPalo Alto Networks
Tool AbuseData Exfiltration (DLP)PII RedactionEgress FilteringSafetensorsModelScanSupply Chain Security
9.2

9.2 负责任 AI、内容对齐与模型风险控制

14 类危害分类学 (Harm Taxonomy)、偏见与公平性度量、Human-in-the-loop 人类最终监督、模型卡与系统卡透明度规范与安全事件分级处置。
独立模块页➔
模型有害性分类、偏见公平性评估与人类监督
💰 $200K - $430K / 年 (负责任 AI 与对齐研究)
覆盖 14 类 Harm Taxonomy (仇恨/自残/骚扰/CBRN等) 的多模态内容审核、人口统计学差异 (Demographic Parity) 与机会均等率偏见审计、高风险场景 Human-in-the-loop 审批介入机制。
标杆研发:Azure Content SafetyAzure Content SafetyOpenAIOpenAIAnthropicAnthropicGoogle CloudGoogle CloudArize AIArize AI
Harm TaxonomyBias AuditingDemographic ParityEqualized OddsHuman OversightAzure Content SafetyConstitutional AI
模型卡透明度、系统卡与安全事件分级报告
💰 $190K - $410K / 年 (模型风险管理与透明度)
标准化模型卡 (Model Cards) 与系统卡 (System Cards) 风险透明度披露、预定用途与限制边界 (Out-of-Scope Limitations) 界定、MITRE ATLAS 攻击技术映射与安全事件协同披露 (CVD)。
标杆研发:Hugging FaceHugging FaceOpenAIOpenAIAnthropicAnthropicGoogle CloudGoogle Cloud
Model CardsSystem CardsMITRE ATLASVulnerability DisclosureIncident ResponseHugging Face
9.3

9.3 AI 治理体系、合规审计与合规证据链

GDPR/CCPA 隐私合规、Zero Data Retention (ZDR)、Policy-as-Code 声明式策略引擎、NIST AI RMF 1.0 框架、欧盟 AI 法案分级与自动化审计证据包。
独立模块页➔
数据隐私合规、访问留存审查与政策即代码 (Policy-as-Code)
💰 $195K - $420K / 年 (数据隐私与策略工程)
GDPR / CCPA 数据合规、Zero Data Retention (ZDR) 零数据留存协议执行、用户授权意愿账本 (Consent Ledger)、基于 OPA / Rego 的声明式策略准入与访问控制定期审计。
标杆研发:OneTrustOneTrustBigIDBigIDDatabricksDatabricksCredo AICredo AI
Data PrivacyZero Data Retention (ZDR)Policy-as-CodeOPA / RegoConsent LedgerOneTrustBigID
NIST AI RMF 框架映射、第三方模型审查与审计证据包
💰 $200K - $435K / 年 (AI 治理合规与审计)
NIST AI RMF 1.0 (GOVERN/MAP/MEASURE/MANAGE)、ISO/IEC 42001 与欧盟 AI 法案 (EU AI Act) 合规映射、第三方闭源 API 准入评估、防篡改自动化审计证据包 (Evidence Bundles) 导出与例外台账管理。
标杆研发:Credo AICredo AIwatsonx.governancewatsonx.governanceOneTrustOneTrustMicrosoftMicrosoft
NIST AI RMFISO 42001EU AI ActAudit EvidenceThird-Party VettingCredo AIIBM watsonx
9.4

9.4 全链路质量观测、数据漂移与故障事件响应

OpenTelemetry GenAI 语义规范、端到端 Span 分布式链路追踪、Embedding 高维向量漂移检测 (MMD/Wasserstein)、生成质量在线探针与 SLO 错误预算熔断告警。
独立模块页➔
端到端分布式链路追踪与 OpenTelemetry 规范
💰 $195K - $410K / 年 (AI 可观测性与链路分析)
OpenTelemetry GenAI 语义约定标准化属性 (`gen_ai.system`, `gen_ai.usage` 等)、嵌套 Agent / Tool / RAG 级联 Span 追踪、首字延迟 (TTFT) 与每步耗时 (TPOT) 分解、实时 Payload 审计与可视化分析。
标杆研发:LangfuseLangfuseArize PhoenixArize PhoenixDatadogDatadogDynatraceDynatraceBraintrustBraintrust
Distributed TracingOpenTelemetry GenAISpan CascadeTTFT / TPOTLangfuseArize PhoenixDatadog
生成质量在线监控、特征漂移与事件演练告警
💰 $190K - $400K / 年 (数据漂移与可靠性工程)
基于最大均值差异 (MMD) 与群体稳定性指标 (PSI) 的高维 Embedding 向量特征漂移检测、在线生成质量与点赞点踩探针、SLO 错误预算消耗速率 (Burn Rate) 告警与跨层安全故障联合应急处置。
标杆研发:Arize AIArize AILangfuseLangfuseWhyLabsWhyLabsDatadogDatadogDynatraceDynatrace
Embedding DriftMMDPSIQuality ProbesError Budget Burn RateIncident ResponseWhyLabsArize AI
💼

产业链对口岗位

18
💼AI Security Engineer
2
💼AI Red Team Engineer
1
💼AI Safety Engineer
2
💼Responsible AI Engineer
2
💼AI Governance Specialist
2
💼Observability Engineer
2
💼Privacy Engineer
1
💼SRE
1
💼Application Security Engineer
1
💼AI Systems Engineer
1
💼Threat Researcher
1
💼Safety Researcher
1
💼Model Risk Manager
1
💼Compliance Engineer
2
💼AI Risk Consultant
1
💼LLMOps Engineer
1
💼AI Platform Engineer
1
💼Evaluation Engineer
1
🔄子领域时序演进链路 (共 4 个子领域):
9.1

9.1 应用安全攻防、红蓝对抗与提示词防御

查看独立子模块页➔

直接/间接提示词注入防御 (Instruction Hierarchy)、越狱对抗测试、NeMo Guardrails 围栏、工具调用越权防护、数据防外泄与 Safetensors 供应链防护。

提示词注入防御、越狱拦截与 NeMo Guardrails

严格指令层级控制 (Instruction Hierarchy: System > Tool > User)、语言困惑度异常过滤 (Perplexity Filter)、结构化标签隔离、NVIDIA NeMo Guardrails (Colang 2.0) 语义流输入输出校验与 OWASP Top 10 for LLM v2.0 漏洞防御。

🏢 代表企业
LakeraLakeraNeMo GuardrailsNeMo GuardrailsCisco (Robust Intelligence)Cisco (Robust Intelligence)PromptfooPromptfooProtect AIProtect AI
🛠️ 核心技术栈
Prompt InjectionJailbreak DefenseInstruction HierarchyNeMo GuardrailsColangOWASP Top 10 for LLMLakera
💼 典型岗位与薪资
AI Security Engineer、AI Red Team Engineer、Application Security Engineer
💰 $210K - $450K / 年 (AI 安全与攻防工程) | ¥60W - ¥140W / 年

工具越权防护、数据防外泄与模型供应链安全

Agent 工具调用动态最小权限 Token (Scoped OAuth)、流式敏感数据脱敏 (PII Masking / Microsoft Presidio)、沙箱出口网络策略白名单 (Egress NetworkPolicy) 与模型权重恶意反序列化防护 (Safetensors / ModelScan)。

🏢 代表企业
Protect AIProtect AIHiddenLayerHiddenLayerCisco (Robust Intelligence)Cisco (Robust Intelligence)Palo Alto NetworksPalo Alto Networks
🛠️ 核心技术栈
Tool AbuseData Exfiltration (DLP)PII RedactionEgress FilteringSafetensorsModelScanSupply Chain Security
💼 典型岗位与薪资
AI Security Engineer、AI Systems Engineer、Threat Researcher
💰 $205K - $440K / 年 (运行时防护与供应链安全) | ¥58W - ¥135W / 年
⬇
9.2

9.2 负责任 AI、内容对齐与模型风险控制

查看独立子模块页➔

14 类危害分类学 (Harm Taxonomy)、偏见与公平性度量、Human-in-the-loop 人类最终监督、模型卡与系统卡透明度规范与安全事件分级处置。

模型有害性分类、偏见公平性评估与人类监督

覆盖 14 类 Harm Taxonomy (仇恨/自残/骚扰/CBRN等) 的多模态内容审核、人口统计学差异 (Demographic Parity) 与机会均等率偏见审计、高风险场景 Human-in-the-loop 审批介入机制。

🏢 代表企业
Azure Content SafetyAzure Content SafetyOpenAIOpenAIAnthropicAnthropicGoogle CloudGoogle CloudArize AIArize AI
🛠️ 核心技术栈
Harm TaxonomyBias AuditingDemographic ParityEqualized OddsHuman OversightAzure Content SafetyConstitutional AI
💼 典型岗位与薪资
AI Safety Engineer、Responsible AI Engineer、Safety Researcher
💰 $200K - $430K / 年 (负责任 AI 与对齐研究) | ¥55W - ¥130W / 年

模型卡透明度、系统卡与安全事件分级报告

标准化模型卡 (Model Cards) 与系统卡 (System Cards) 风险透明度披露、预定用途与限制边界 (Out-of-Scope Limitations) 界定、MITRE ATLAS 攻击技术映射与安全事件协同披露 (CVD)。

🏢 代表企业
Hugging FaceHugging FaceOpenAIOpenAIAnthropicAnthropicGoogle CloudGoogle Cloud
🛠️ 核心技术栈
Model CardsSystem CardsMITRE ATLASVulnerability DisclosureIncident ResponseHugging Face
💼 典型岗位与薪资
Responsible AI Engineer、Model Risk Manager、AI Safety Engineer
💰 $190K - $410K / 年 (模型风险管理与透明度) | ¥52W - ¥122W / 年
⬇
9.3

9.3 AI 治理体系、合规审计与合规证据链

查看独立子模块页➔

GDPR/CCPA 隐私合规、Zero Data Retention (ZDR)、Policy-as-Code 声明式策略引擎、NIST AI RMF 1.0 框架、欧盟 AI 法案分级与自动化审计证据包。

数据隐私合规、访问留存审查与政策即代码 (Policy-as-Code)

GDPR / CCPA 数据合规、Zero Data Retention (ZDR) 零数据留存协议执行、用户授权意愿账本 (Consent Ledger)、基于 OPA / Rego 的声明式策略准入与访问控制定期审计。

🏢 代表企业
OneTrustOneTrustBigIDBigIDDatabricksDatabricksCredo AICredo AI
🛠️ 核心技术栈
Data PrivacyZero Data Retention (ZDR)Policy-as-CodeOPA / RegoConsent LedgerOneTrustBigID
💼 典型岗位与薪资
AI Governance Specialist、Privacy Engineer、Compliance Engineer
💰 $195K - $420K / 年 (数据隐私与策略工程) | ¥54W - ¥128W / 年

NIST AI RMF 框架映射、第三方模型审查与审计证据包

NIST AI RMF 1.0 (GOVERN/MAP/MEASURE/MANAGE)、ISO/IEC 42001 与欧盟 AI 法案 (EU AI Act) 合规映射、第三方闭源 API 准入评估、防篡改自动化审计证据包 (Evidence Bundles) 导出与例外台账管理。

🏢 代表企业
Credo AICredo AIwatsonx.governancewatsonx.governanceOneTrustOneTrustMicrosoftMicrosoft
🛠️ 核心技术栈
NIST AI RMFISO 42001EU AI ActAudit EvidenceThird-Party VettingCredo AIIBM watsonx
💼 典型岗位与薪资
AI Governance Specialist、Compliance Engineer、AI Risk Consultant
💰 $200K - $435K / 年 (AI 治理合规与审计) | ¥56W - ¥132W / 年
⬇
9.4

9.4 全链路质量观测、数据漂移与故障事件响应

查看独立子模块页➔

OpenTelemetry GenAI 语义规范、端到端 Span 分布式链路追踪、Embedding 高维向量漂移检测 (MMD/Wasserstein)、生成质量在线探针与 SLO 错误预算熔断告警。

端到端分布式链路追踪与 OpenTelemetry 规范

OpenTelemetry GenAI 语义约定标准化属性 (`gen_ai.system`, `gen_ai.usage` 等)、嵌套 Agent / Tool / RAG 级联 Span 追踪、首字延迟 (TTFT) 与每步耗时 (TPOT) 分解、实时 Payload 审计与可视化分析。

🏢 代表企业
LangfuseLangfuseArize PhoenixArize PhoenixDatadogDatadogDynatraceDynatraceBraintrustBraintrust
🛠️ 核心技术栈
Distributed TracingOpenTelemetry GenAISpan CascadeTTFT / TPOTLangfuseArize PhoenixDatadog
💼 典型岗位与薪资
Observability Engineer、LLMOps Engineer、AI Platform Engineer
💰 $195K - $410K / 年 (AI 可观测性与链路分析) | ¥52W - ¥122W / 年

生成质量在线监控、特征漂移与事件演练告警

基于最大均值差异 (MMD) 与群体稳定性指标 (PSI) 的高维 Embedding 向量特征漂移检测、在线生成质量与点赞点踩探针、SLO 错误预算消耗速率 (Burn Rate) 告警与跨层安全故障联合应急处置。

🏢 代表企业
Arize AIArize AILangfuseLangfuseWhyLabsWhyLabsDatadogDatadogDynatraceDynatrace
🛠️ 核心技术栈
Embedding DriftMMDPSIQuality ProbesError Budget Burn RateIncident ResponseWhyLabsArize AI
💼 典型岗位与薪资
Observability Engineer、SRE、Evaluation Engineer
💰 $190K - $400K / 年 (数据漂移与可靠性工程) | ¥50W - ¥118W / 年