⬅ AI 全产业总图/Layer 09 · 09. AI 安全、防护、治理与可观测性
9.2

9.2 负责任 AI、内容对齐与模型风险控制

14 类危害分类学 (Harm Taxonomy)、偏见与公平性度量、Human-in-the-loop 人类最终监督、模型卡与系统卡透明度规范与安全事件分级处置。

模型有害性分类、偏见公平性评估与人类监督

覆盖 14 类 Harm Taxonomy (仇恨/自残/骚扰/CBRN等) 的多模态内容审核、人口统计学差异 (Demographic Parity) 与机会均等率偏见审计、高风险场景 Human-in-the-loop 审批介入机制。

🏢 标杆代表企业
Microsoft (Azure Content Safety)、OpenAI、Anthropic、Google、Arize AI
🛠️ 核心技术栈
Harm TaxonomyBias AuditingDemographic ParityEqualized OddsHuman OversightAzure Content SafetyConstitutional AI
💼 典型岗位与薪资
AI Safety Engineer、Responsible AI Engineer、Safety Researcher
💰 $200K - $430K / 年 (负责任 AI 与对齐研究) | ¥55W - ¥130W / 年
📚 先决掌握技能:大模型内容安全分类体系与有害性评测标准 • 统计公平性指标 (Demographic Parity / Equalized Odds) • 宪法 AI (Constitutional AI) 自对齐原则与批评修正 • 高风险业务人机协同审批介入矩阵设计

模型卡透明度、系统卡与安全事件分级报告

标准化模型卡 (Model Cards) 与系统卡 (System Cards) 风险透明度披露、预定用途与限制边界 (Out-of-Scope Limitations) 界定、MITRE ATLAS 攻击技术映射与安全事件协同披露 (CVD)。

🏢 标杆代表企业
Hugging Face、OpenAI、Anthropic、Google
🛠️ 核心技术栈
Model CardsSystem CardsMITRE ATLASVulnerability DisclosureIncident ResponseHugging Face
💼 典型岗位与薪资
Responsible AI Engineer、Model Risk Manager、AI Safety Engineer
💰 $190K - $410K / 年 (模型风险管理与透明度) | ¥52W - ¥122W / 年
📚 先决掌握技能:Hugging Face Model Card YAML 元数据规范 • MITRE ATLAS 大模型安全对抗知识库结构 • AI 漏洞披露政策 (CVD) 与安全通报流程 • 限制场景与已知偏差透明度文档撰写规范