Privacy & AI Compliance: 解释模型反演与成员推断攻击及其防御。

Core Concept: 成员推断判断某样本是否在训练集，反演重建训练样本；防御包括差分隐私训练、正则化与早停、输出裁剪与置信度限制、限制查询次数与访问。

数学机理：<strong>成员推断攻击（membership inference attack, MIA）</strong>——(1) <strong>原理</strong>——(a) 模型对<strong>训练样本</strong>往往比非训练样本更'自信'（更低的 loss、更高的 max-prob）；(b) 攻击者构造统计量（loss、置信度、熵）并设阈值判断成员与否；(c) <strong>优势（advantage）</strong>——Pr[判为成员 | 真在训练集] - Pr[判为成员 | 不在]；优势越大泄露越严重。(2) <strong>变体</strong>——(a) <strong>黑盒</strong>——只用输出概率/标签；(b) <strong>白盒</strong>——可用梯度/参数（更强）；(c) <strong>影子模型</strong>——训练多个影子模型学习'成员与非成员'的分布差异。(3) <strong>加剧因素</strong>——(a) <strong>过拟合</strong>——训练样本 loss 远低于测试样本 → 易区分；(b) <strong>训练集小/重复样本</strong>——记忆更强；(c) <strong>模型大</strong>——容量大更易记忆。<strong>模型反演（model inversion）</strong>——(1) <strong>原理</strong>——(a) 优化输入以最大化某类别的置信度，重建'该类的典型样本'；(b) 对过拟合模型可重建接近训练样本的图像/文本；(c) <strong>梯度泄露（gradient leakage）</strong>——在联邦学习中，共享的梯度可反演出训练数据。(2) <strong>属性推断</strong>——推断训练集整体的敏感属性分布。<strong>防御</strong>——(1) <strong>差分隐私训练（DP-SGD）</strong>——(a) 逐样本梯度裁剪 + 加噪；(b) 提供可证明的 MIA 抵抗力；(c) 代价是精度下降。(2) <strong>正则化与泛化</strong>——(a) L2/dropout/早停——减少过拟合即降低 MIA 优势；(b) <strong>数据增强</strong>；(c) <strong>标签平滑</strong>。(3) <strong>输出限制</strong>——(a) <strong>裁剪置信度</strong>——不返回完整概率分布（只返回 top-1 或截断）;(b) <strong>加噪输出</strong>——对 logits/概率加噪；(c) <strong>量化</strong>——降低输出精度。(4) <strong>访问控制</strong>——(a) <strong>限制查询次数与速率</strong>——减少攻击者可用的样本量；(b) <strong>认证</strong>——只对可信用户开放 API；(c) <strong>监控异常查询</strong>——检测攻击行为。(5) <strong>数据侧</strong>——(a) 去重（减少记忆）；(b) 移除敏感样本；(c) 合成数据训练。(6) <strong>联邦学习</strong>——(a) 安全聚合（secure aggregation）——服务器只见聚合梯度；(b) 梯度裁剪与加噪；(c) 防梯度泄露。(7) <strong>评估</strong>——(a) 用标准 MIA 攻击测量优势/AUC；(b) 与随机基线（0.5）比较；(c) 定期评估（模型更新后）。<strong>与其他问题的关系</strong>——(a) 与差分隐私（最强防御）；(b) 与过拟合/正则化；(c) 与 PII（重建出的数据是 PII）；(d) 与合规审计（泄露评估是合规要求）。<strong>度量</strong>——(a) MIA 优势/AUC；(b) 反演重建质量（相似度）；(c) 攻击成本（查询次数）；(d) DP 的 ε 预算。

深度剖析与工程权衡：① <strong>过拟合是 MIA 的根本原因</strong>——泛化越好越难攻击；面试中能指出这点是深度理解的标志。② <strong>DP-SGD 是最强防御但代价大</strong>——精度下降明显。③ <strong>输出裁剪是低成本防御</strong>——不暴露完整概率分布。④ <strong>限制查询次数很实用</strong>——攻击需大量查询。⑤ <strong>联邦学习的梯度也会泄露</strong>——需安全聚合与加噪。⑥ <strong>需用标准攻击量化评估</strong>——而非主观判断。⑦ <strong>面试要点</strong>——被问怎么防隐私攻击，应给出'<strong>DP-SGD + 正则化/早停 + 输出裁剪与加噪 + 限制查询 + 去重/合成数据 + 安全聚合 + 攻击评估</strong>'；能指出过拟合是根因与梯度泄露是深度理解的标志。