M8-072M8: ML Systems, Engineering & ResearchModel Governance & Risk ManagementHard
Mastery:

Model Governance & Risk Management: 解释模型风险登记(risk register)的作用与内容。

📐 Mathematical Definition
risk=likelihood×impact;priority=rank(risk−control)\text{risk}=\text{likelihood}\times\text{impact};\qquad \text{priority}=\text{rank}(\text{risk}-\text{control})
⚡ Executive Summary
Core Concept: 系统性登记风险项、可能性、影响、缓解措施与责任人,定期复核,把模型风险管理从一次性评估变为持续流程。

📌 Key Takeaways

  • •
    风险项——技术(性能/漂移/安全)、业务(合规/声誉/收入)、伦理(公平/隐私)
  • •
    评估维度——可能性 × 影响(严重度),得出风险等级
  • •
    缓解措施——预防、检测、缓解、转移;明确负责人与时限
  • •
    状态跟踪——开放/进行中/已缓解/已接受,定期复核
  • •
    治理机制——评审会、升级路径、与模型生命周期(上线/复审/下线)挂钩

📐 Mathematical Derivations

数学机理:<strong>模型风险登记(model risk register)</strong>——(1) <strong>作用</strong>——(a) <strong>集中登记</strong>——把散落的模型风险统一记录;(b) <strong>优先级排序</strong>——按可能性 × 影响排优先级,把资源投到高风险项;(c) <strong>问责</strong>——每项有负责人;(d) <strong>持续</strong>——定期复核,而非一次性评估;(e) <strong>审计</strong>——合规证据;(f) <strong>沟通</strong>——让管理层/法务/工程对风险有共识。(2) <strong>风险分类</strong>——(a) <strong>技术风险</strong>——性能不达标、漂移、退化、鲁棒性差、安全漏洞(对抗/越狱)、依赖故障;(b) <strong>业务风险</strong>——合规违规、收入损失、客户流失、声誉损害;(c) <strong>伦理风险</strong>——不公平、隐私泄露、有害输出、操纵;(d) <strong>运营风险</strong>——成本超支、容量不足、供应商依赖;(e) <strong>法律风险</strong>——知识产权、责任归属。(3) <strong>评估维度</strong>——(a) <strong>可能性(likelihood)</strong>——发生的概率(历史频率/专家判断);(b) <strong>影响(impact)</strong>——后果严重度(财务/用户/合规/声誉);(c) <strong>风险等级</strong>——通常为 可能性 × 影响(或矩阵映射);(d) <strong>速度(velocity)</strong>——风险显现的快慢(快 vs 慢)。 (4) <strong>缓解措施(controls)</strong>——(a) <strong>预防</strong>——设计/测试/评审(降低可能性);(b) <strong>检测</strong>——监控/告警/审计(尽早发现);(c) <strong>缓解</strong>——降级/回滚/人工复核(降低影响);(d) <strong>转移</strong>——保险/合同/第三方;(e) <strong>接受</strong>——低风险或成本不划算时明确接受。(5) <strong>剩余风险(residual risk)</strong>——缓解后仍存在的风险;需与容忍度(risk appetite)比较。(6) <strong>状态跟踪</strong>——(a) 开放、进行中、已缓解、已接受、已关闭;(b) 负责人与时限;(c) 定期复核(如每季度)。(7) <strong>治理机制</strong>——(a) <strong>评审会</strong>——跨职能(工程/产品/法务/合规/伦理)定期评审;(b) <strong>升级路径</strong>——高风险项升级到管理层;(c) <strong>与生命周期挂钩</strong>——上线前评估、运行中监控、定期复审、下线时关闭;(d) <strong>与模型卡/审计联动</strong>。(8) <strong>量化</strong>——(a) 财务影响(收入损失、罚款);(b) 用户影响(人数、严重度);(c) 合规影响(违规等级);(d) 用期望损失(可能性 × 影响)排序。(9) <strong>与相关框架</strong>——(a) <strong>NIST AI RMF</strong>——治理/映射/测量/管理四职能;(b) <strong>ISO/IEC 42001</strong>——AI 管理体系;(c) <strong>EU AI Act</strong>——高风险系统要求。(10) <strong>常见失败</strong>——(a) <strong>只登记不跟踪</strong>——形同虚设;(b) <strong>无负责人</strong>;(c) <strong>一次性</strong>——不做定期复核;(d) <strong>只列技术风险</strong>——忽略业务/伦理/法律。<strong>与其他问题的关系</strong>——(a) 与模型卡(文档);(b) 与高风险场景验证(评估);(c) 与合规审计(证据);(d) 与监控(检测)。<strong>度量</strong>——(a) 风险项数量与状态分布;(b) 高风险的缓解完成率;(c) 复核频率与及时率;(d) 剩余风险 vs 容忍度。

🏭 Production Trade-offs

深度剖析与工程权衡:① <strong>风险登记的价值在于持续跟踪而非登记本身</strong>——面试中能指出'只登记不跟踪形同虚设'是深度理解的标志。② <strong>优先级 = 可能性 × 影响</strong>——把资源投到高风险项。③ <strong>需覆盖技术/业务/伦理/法律</strong>——不只技术。④ <strong>剩余风险需与容忍度比较</strong>——决定是否上线。⑤ <strong>与模型生命周期挂钩</strong>——上线前/运行中/复审/下线。⑥ <strong>对齐 NIST AI RMF / EU AI Act</strong>——便于合规。⑦ <strong>面试要点</strong>——被问怎么管理模型风险,应给出'<strong>风险登记(可能性×影响)+ 分类(技术/业务/伦理/法律)+ 缓解措施与责任人 + 剩余风险与容忍度 + 定期复核 + 与生命周期和审计联动</strong>';能指出'持续跟踪'与'剩余风险'是深度理解的标志。
⚠️ Common Interview Pitfalls
  • ✕
    只登记不跟踪(形同虚设)
  • ✕
    只列技术风险(忽略业务/伦理/法律)
🎯 Interviewer Follow-ups
  • ?
    为什么要把模型风险管理做成持续流程?
  • ?
    如何量化模型风险的影响?
📚

Associated Knowledge Base Guides & Mindmaps

Explore the comprehensive technical article, exam cards, and global architecture tree.

← PreviousM8-071: Model Governance & Risk Management: 解释高风险场景下的模型验证要求。📋Back to BankNext →M8-073: Research: Paper Reading & Critical Analysis: 拿到一篇新论文,你会按什么顺序读?