Model Governance & Risk Management: 解释高风险场景下的模型验证要求。

Core Concept: 需更强文档（模型卡/数据卡）、分群与对抗评估、鲁棒性与不确定性量化、人机协同与申诉机制、上线后持续监控与定期复审。

数学机理：<strong>高风险场景（医疗/信贷/招聘/执法/自动驾驶）的验证要求</strong>——(1) <strong>文档与可追溯</strong>——(a) <strong>模型卡 + 数据卡</strong>——能力、局限、数据来源与偏差；(b) <strong>风险评估</strong>——潜在危害与缓解；(c) <strong>决策阈值与理由</strong>——为何选此阈值（涉及代价不对称）；(d) <strong>审批记录</strong>——谁批准上线、依据什么。(2) <strong>评估维度（比常规更严）</strong>——(a) <strong>整体指标</strong>——基础上；(b) <strong>分群指标</strong>——受保护群体与关键子集；(c) <strong>长尾</strong>——稀有但关键的案例；(d) <strong>分布外（OOD）</strong>——与训练分布不同的输入；(e) <strong>对抗</strong>——恶意构造输入；(f) <strong>公平性</strong>——多定义（DP/EO/均等赔率）；(g) <strong>校准</strong>——概率输出可信（决策依赖概率时）；(h) <strong>时序稳定性</strong>——随时间/分布变化的表现。(3) <strong>鲁棒性与不确定性</strong>——(a) <strong>鲁棒性</strong>——扰动、噪声、OOD 下的表现；(b) <strong>不确定性量化</strong>——(i) 贝叶斯/集成/温度缩放给出置信度；(ii) <strong>拒绝/弃权（abstention）</strong>——低置信度时不下结论而转人工；(iii) <strong>选择性预测</strong>——在覆盖率-精度曲线上权衡；(c) <strong>重要性</strong>——高风险场景下'知道何时不知道'比'总是给答案'更安全。(4) <strong>人机协同（human-in-the-loop）</strong>——(a) <strong>人工复核</strong>——高风险决策保留人工最终决定；(b) <strong>申诉机制</strong>——受影响者可质疑并要求复核（法规常要求）；(c) <strong>可解释性</strong>——给出决策依据（特征贡献/示例）；(d) <strong>自动化偏见</strong>——注意人过度信任模型（需设计提示与培训）。(5) <strong>上线后</strong>——(a) <strong>持续监控</strong>——性能、漂移、公平性、异常；(b) <strong>告警与回滚</strong>——护栏指标跌破则回滚；(c) <strong>定期复审</strong>——周期性地重新验证（分布会变）；(d) <strong>事件响应</strong>——危害事件的流程。(6) <strong>法规对齐</strong>——(a) <strong>欧盟 AI 法案</strong>——高风险 AI 系统的合规要求（风险管理、数据治理、技术文档、人类监督、准确性/鲁棒性/网络安全）；(b) <strong>行业法规</strong>——医疗（FDA）、信贷（ECOA/FCRA）、招聘（EEOC）；(c) <strong>审计与认证</strong>。(7) <strong>测试集</strong>——(a) 独立于训练/调参的留出集；(b) 覆盖关键场景与边界；(c) 定期更新（避免过时）。(8) <strong>失败模式</strong>——(a) <strong>静默失败</strong>——模型错但无人知；(b) <strong>分布漂移</strong>——上线后环境变化；(c) <strong>反馈环</strong>——预测改变数据。<strong>与其他问题的关系</strong>——(a) 与公平性与偏见；(b) 与模型卡与风险登记；(c) 与监控与漂移；(d) 与合规审计。<strong>度量</strong>——(a) 分群/OOD/对抗指标；(b) 校准误差（ECE）；(c) 弃权率与选择性精度；(d) 人工复核覆盖率与申诉处理时效。

深度剖析与工程权衡：① <strong>高风险场景要求'知道何时不知道'</strong>——不确定性量化与弃权机制；面试中能指出这点是深度理解的标志。② <strong>分群与 OOD 评估不可省</strong>——整体指标会掩盖关键失败。③ <strong>人机协同与申诉是法规要求</strong>——不只是技术选择。④ <strong>校准在概率决策场景至关重要</strong>——否则阈值无意义。⑤ <strong>需定期复审</strong>——分布会变，一次验证不够。⑥ <strong>法规对齐（如 EU AI Act）</strong>——高风险系统的硬性要求。⑦ <strong>面试要点</strong>——被问高风险场景怎么验证模型，应给出'<strong>强文档 + 多维度评估（分群/OOD/对抗/公平/校准）+ 不确定性量化与弃权 + 人机协同与申诉 + 上线后监控与定期复审 + 法规对齐</strong>'；能指出'知道何时不知道'是深度理解的标志。