09. AI 安全、防护、治理与可观测性
横向贯穿整个 AI 生命周期的防线:直接与间接提示词注入防御、越狱拦截、内容安全围栏、模型合规治理与全链路可观测追踪。
9.1 应用安全攻防、红蓝对抗与提示词防御
直接/间接提示词注入防御 (Instruction Hierarchy)、越狱对抗测试、NeMo Guardrails 围栏、工具调用越权防护、数据防外泄与 Safetensors 供应链防护。
提示词注入防御、越狱拦截与 NeMo Guardrails
严格指令层级控制 (Instruction Hierarchy: System > Tool > User)、语言困惑度异常过滤 (Perplexity Filter)、结构化标签隔离、NVIDIA NeMo Guardrails (Colang 2.0) 语义流输入输出校验与 OWASP Top 10 for LLM v2.0 漏洞防御。
工具越权防护、数据防外泄与模型供应链安全
Agent 工具调用动态最小权限 Token (Scoped OAuth)、流式敏感数据脱敏 (PII Masking / Microsoft Presidio)、沙箱出口网络策略白名单 (Egress NetworkPolicy) 与模型权重恶意反序列化防护 (Safetensors / ModelScan)。
9.2 负责任 AI、内容对齐与模型风险控制
14 类危害分类学 (Harm Taxonomy)、偏见与公平性度量、Human-in-the-loop 人类最终监督、模型卡与系统卡透明度规范与安全事件分级处置。
模型有害性分类、偏见公平性评估与人类监督
覆盖 14 类 Harm Taxonomy (仇恨/自残/骚扰/CBRN等) 的多模态内容审核、人口统计学差异 (Demographic Parity) 与机会均等率偏见审计、高风险场景 Human-in-the-loop 审批介入机制。
模型卡透明度、系统卡与安全事件分级报告
标准化模型卡 (Model Cards) 与系统卡 (System Cards) 风险透明度披露、预定用途与限制边界 (Out-of-Scope Limitations) 界定、MITRE ATLAS 攻击技术映射与安全事件协同披露 (CVD)。
9.3 AI 治理体系、合规审计与合规证据链
GDPR/CCPA 隐私合规、Zero Data Retention (ZDR)、Policy-as-Code 声明式策略引擎、NIST AI RMF 1.0 框架、欧盟 AI 法案分级与自动化审计证据包。
数据隐私合规、访问留存审查与政策即代码 (Policy-as-Code)
GDPR / CCPA 数据合规、Zero Data Retention (ZDR) 零数据留存协议执行、用户授权意愿账本 (Consent Ledger)、基于 OPA / Rego 的声明式策略准入与访问控制定期审计。
NIST AI RMF 框架映射、第三方模型审查与审计证据包
NIST AI RMF 1.0 (GOVERN/MAP/MEASURE/MANAGE)、ISO/IEC 42001 与欧盟 AI 法案 (EU AI Act) 合规映射、第三方闭源 API 准入评估、防篡改自动化审计证据包 (Evidence Bundles) 导出与例外台账管理。
9.4 全链路质量观测、数据漂移与故障事件响应
OpenTelemetry GenAI 语义规范、端到端 Span 分布式链路追踪、Embedding 高维向量漂移检测 (MMD/Wasserstein)、生成质量在线探针与 SLO 错误预算熔断告警。
端到端分布式链路追踪与 OpenTelemetry 规范
OpenTelemetry GenAI 语义约定标准化属性 (`gen_ai.system`, `gen_ai.usage` 等)、嵌套 Agent / Tool / RAG 级联 Span 追踪、首字延迟 (TTFT) 与每步耗时 (TPOT) 分解、实时 Payload 审计与可视化分析。
生成质量在线监控、特征漂移与事件演练告警
基于最大均值差异 (MMD) 与群体稳定性指标 (PSI) 的高维 Embedding 向量特征漂移检测、在线生成质量与点赞点踩探针、SLO 错误预算消耗速率 (Burn Rate) 告警与跨层安全故障联合应急处置。