9.2
9.2 负责任 AI、内容对齐与模型风险控制
14 类危害分类学 (Harm Taxonomy)、偏见与公平性度量、Human-in-the-loop 人类最终监督、模型卡与系统卡透明度规范与安全事件分级处置。
模型有害性分类、偏见公平性评估与人类监督
覆盖 14 类 Harm Taxonomy (仇恨/自残/骚扰/CBRN等) 的多模态内容审核、人口统计学差异 (Demographic Parity) 与机会均等率偏见审计、高风险场景 Human-in-the-loop 审批介入机制。
🏢 标杆代表企业
Microsoft (Azure Content Safety)、OpenAI、Anthropic、Google、Arize AI
🛠️ 核心技术栈
Harm TaxonomyBias AuditingDemographic ParityEqualized OddsHuman OversightAzure Content SafetyConstitutional AI
💼 典型岗位与薪资
AI Safety Engineer、Responsible AI Engineer、Safety Researcher
💰 $200K - $430K / 年 (负责任 AI 与对齐研究) | ¥55W - ¥130W / 年
📚 先决掌握技能:大模型内容安全分类体系与有害性评测标准 • 统计公平性指标 (Demographic Parity / Equalized Odds) • 宪法 AI (Constitutional AI) 自对齐原则与批评修正 • 高风险业务人机协同审批介入矩阵设计
模型卡透明度、系统卡与安全事件分级报告
标准化模型卡 (Model Cards) 与系统卡 (System Cards) 风险透明度披露、预定用途与限制边界 (Out-of-Scope Limitations) 界定、MITRE ATLAS 攻击技术映射与安全事件协同披露 (CVD)。
🏢 标杆代表企业
Hugging Face、OpenAI、Anthropic、Google
🛠️ 核心技术栈
Model CardsSystem CardsMITRE ATLASVulnerability DisclosureIncident ResponseHugging Face
💼 典型岗位与薪资
Responsible AI Engineer、Model Risk Manager、AI Safety Engineer
💰 $190K - $410K / 年 (模型风险管理与透明度) | ¥52W - ¥122W / 年
📚 先决掌握技能:Hugging Face Model Card YAML 元数据规范 • MITRE ATLAS 大模型安全对抗知识库结构 • AI 漏洞披露政策 (CVD) 与安全通报流程 • 限制场景与已知偏差透明度文档撰写规范