M8-069M8: ML Systems, Engineering & ResearchModel Governance & Risk ManagementEasy
Mastery:

Model Governance & Risk Management: 解释公平性度量的主要定义与不可能定理。

📐 Mathematical Definition
DP: Pr⁡[Y^=1∣A=0]=Pr⁡[Y^=1∣A=1];EO: Pr⁡[Y^=1∣Y,A]=Pr⁡[Y^=1∣Y,A′]\text{DP}:\ \Pr[\hat Y{=}1\mid A{=}0]=\Pr[\hat Y{=}1\mid A{=}1];\quad \text{EO}:\ \Pr[\hat Y{=}1\mid Y,A]=\Pr[\hat Y{=}1\mid Y,A']
⚡ Executive Summary
Core Concept: 常见定义有人口统计均等(DP)、均等机会(EO)、均等赔率;多个定义通常不可同时满足(不可能定理),需按场景与法规选主指标并明确权衡。

📌 Key Takeaways

  • •
    人口统计均等(demographic parity)——各群体正例率相同,不看真实标签
  • •
    均等机会(equal opportunity)——各群体真阳性率(TPR)相同
  • •
    均等赔率(equalized odds)——各群体 TPR 与 FPR 都相同(更强)
  • •
    不可能定理——除退化情形外,多个公平定义不可同时满足(尤其基率不同时)
  • •
    选择依据——场景(谁受影响)、法规(如美国 EEOC 的 80% 规则)、以及明确记录的权衡

📐 Mathematical Derivations

数学机理:<strong>主要公平性定义</strong>——设 A 为受保护属性,Y 为真实标签,Ŷ 为预测。(1) <strong>人口统计均等(demographic parity / statistical parity)</strong>——(a) 定义——Pr[Ŷ=1 | A=0] = Pr[Ŷ=1 | A=1);(b) 含义——各群体被预测为正的比例相同;(c) <strong>不看真实标签</strong>——故若真实基率不同,则必然导致某群体被错误对待('公平'但可能牺牲精度);(d) 适用——正例率本身就是关注目标时。(2) <strong>均等机会(equal opportunity)</strong>——(a) 定义——Pr[Ŷ=1 | Y=1, A=0] = Pr[Ŷ=1 | Y=1, A=1);(b) 含义——<strong>真阳性率(TPR/召回)在各群体相同</strong>;(c) 关注——'该被选中的都该被选中'(如招聘中合格者应被录取);(d) 允许 FPR 不同。(3) <strong>均等赔率(equalized odds)</strong>——(a) 定义——Pr[Ŷ=1 | Y=y, A=0] = Pr[Ŷ=1 | Y=y, A=1) 对 y ∈ {0,1} 都成立;(b) 含义——<strong>TPR 与 FPR 都相同</strong>(比 EO 更强);(c) 即预测在给定真实标签下与受保护属性独立。(4) <strong>预测率均等(predictive rate parity)</strong>——Pr[Y=1 | Ŷ=1, A] 相同(精确率相同);<strong>与 EO/均等赔率冲突</strong>(Chouldechova 的结果)。(5) <strong>不可能定理(impossibility)</strong>——(a) <strong>Chouldechova / Kleinberg 结果</strong>——若各群体的<strong>基率(base rate)不同</strong>,则<strong>校准(calibration)+ 均等赔率</strong>不可同时满足(除非完美预测或随机);(b) 直觉——基率不同时,'校准'要求不同群体的风险分数含义一致,而'均等赔率'要求错误率一致,二者数学上冲突;(c) <strong>结论</strong>——公平是<strong>多目标权衡</strong>,不存在'对所有定义都公平'的模型。(6) <strong>其他度量</strong>——(a) <strong>平等化赔率</strong>;(b) <strong>条件使用准确率</strong>;(c) <strong>个人公平</strong>(相似个体相似对待);(d) <strong>反事实公平</strong>(改变受保护属性不改变预测)。(7) <strong>缓解方法</strong>——(a) <strong>预处理</strong>——重加权、数据增强、去偏表示;(b) <strong>处理中</strong>——正则项(在损失中加公平约束)、对抗训练;(c) <strong>后处理</strong>——按群体调整阈值(满足 EO/均等赔率)。(8) <strong>选择与治理</strong>——(a) <strong>按场景选主指标</strong>——招聘看 EO、信贷看预测率均等(与法规相关);(b) <strong>法规</strong>——如美国 EEOC 的 four-fifths(80%)规则(通过率比 ≥ 0.8);(c) <strong>记录权衡</strong>——明确选了什么、牺牲了什么、为什么。<strong>与其他问题的关系</strong>——(a) 与偏见来源与缓解;(b) 与高风险场景验证;(c) 与模型卡(披露分群指标);(d) 与合规(法规要求)。<strong>度量</strong>——(a) 各定义下的群体差异(ΔDP、ΔEO、ΔTPR、ΔFPR);(b) 精度-公平权衡曲线;(c) 与法规阈值(80% 规则)的比较。

🏭 Production Trade-offs

深度剖析与工程权衡:① <strong>不可能定理是核心</strong>——基率不同时公平定义冲突,不存在全公平的模型;面试中能指出这点是深度理解的标志。② <strong>DP 不看真实标签</strong>——基率不同时会导致错误对待。③ <strong>EO 关注 TPR、均等赔率关注 TPR+FPR</strong>——强度递增。④ <strong>校准与均等赔率冲突</strong>——需明确取舍。⑤ <strong>后处理调阈值可满足 EO</strong>——但会牺牲整体精度。⑥ <strong>选主指标需结合场景与法规</strong>——并记录权衡。⑦ <strong>面试要点</strong>——被问怎么保证公平,应给出'<strong>明确主定义(DP/EO/均等赔率)+ 承认不可能定理 + 按场景与法规选择 + 记录权衡 + 分群评估与缓解</strong>';能指出基率不同导致冲突是深度理解的标志。
⚠️ Common Interview Pitfalls
  • ✕
    声称同时满足多个公平定义(忽略不可能定理)
  • ✕
    用人口统计均等却不看真实基率
🎯 Interviewer Follow-ups
  • ?
    为什么基率不同时公平定义会冲突?
  • ?
    均等机会与均等赔率的区别是什么?
📚

Associated Knowledge Base Guides & Mindmaps

Explore the comprehensive technical article, exam cards, and global architecture tree.

← PreviousM8-068: Model Governance & Risk Management: 解释模型卡(model card)的内容与作用。📋Back to BankNext →M8-070: Model Governance & Risk Management: 解释偏见的来源与缓解层次。