MLOps & CI/CD for AI: 解释模型上线的质量门（quality gate）设计。

Core Concept: 上线前设自动门禁：整体离线指标不低于基线、关键切片不退化、校准与鲁棒性达标、延迟与成本满足 SLO、公平性与安全通过，任一失败则阻断或需人工放行。

数学机理：<strong>质量门的构造</strong>——(1) <strong>基线与显著性</strong>——(a) <strong>对比对象</strong>——当前线上模型（champion）；(b) <strong>统计检验</strong>——用置信区间或配对检验判断差异是否显著（避免被评测噪声误判）；(c) <strong>最小可检测效应（MDE）</strong>——门禁阈值应大于评测噪声，否则会因随机波动频繁阻断。(2) <strong>整体指标</strong>——(a) AUC/F1/NDCG/BLEU/准确率等；(b) 需与基线比较，且给出置信区间。(3) <strong>分群与切片（slices）</strong>——(a) <strong>维度</strong>——人群（年龄/地区）、类目、语言、设备、长尾/头部、难易度；(b) <strong>目的</strong>——避免'整体提升但某群体崩塌'（辛普森悖论）；(c) <strong>门禁</strong>——每个关键切片设下限；(d) <strong>注意</strong>——切片多则多重比较问题（需校正或只看预设关键切片）。(4) <strong>多维指标</strong>——(a) <strong>精度</strong>；(b) <strong>校准</strong>——ECE/可靠性图（概率输出需可信）；(c) <strong>鲁棒性</strong>——对抗样本、分布外、扰动；(d) <strong>公平性</strong>——人口统计均等/均等机会差异；(e) <strong>安全</strong>——有害内容、越狱、幻觉率（LLM）。(5) <strong>工程约束</strong>——(a) 延迟（P95/P99）；(b) 显存与吞吐；(c) 单位成本；(d) 这些是硬门（不满足则无法上线）。(6) <strong>门禁策略</strong>——(a) <strong>硬门</strong>——必须通过（安全、延迟、核心指标）；(b) <strong>软门</strong>——超阈需人工签核（轻微退化但有业务理由）；(c) <strong>记录</strong>——每次放行/阻断需留痕（谁、为何、何时）。(7) <strong>自动化与可复现</strong>——(a) 门禁在 CI 中自动执行；(b) 评测集与指标计算脚本版本化；(c) 结果可复现。(8) <strong>上线后验证</strong>——(a) 影子/金丝雀阶段的在线指标（离线门禁不能保证在线效果）；(b) 若在线劣于离线预期则回滚。<strong>与其他问题的关系</strong>——(a) 与 ML CI/CD；(b) 与评估指标与切片；(c) 与公平性与治理；(d) 与在线实验。<strong>度量</strong>——(a) 门禁通过率；(b) 上线后回滚率；(c) 误阻断率（噪声导致的假失败）；(d) 线上劣化逃逸率。

深度剖析与工程权衡：① <strong>分群切片是防止局部崩塌的关键</strong>——面试中能举出辛普森悖论式反例是深度理解的标志。② <strong>阈值需大于评测噪声</strong>——否则门禁频繁误阻断。③ <strong>硬门与软门分层</strong>——安全/延迟是硬门，轻微质量退化可人工签核。④ <strong>离线门禁不保证在线效果</strong>——仍需影子/金丝雀验证。⑤ <strong>多重比较问题</strong>——切片太多会引入假阳性，需预设关键切片。⑥ <strong>门禁本身要可复现</strong>——评测脚本与数据版本化。⑦ <strong>面试要点</strong>——被问怎么保证上线质量，应给出'<strong>基线对比（含显著性）+ 分群切片 + 多维指标（精度/校准/鲁棒/公平/安全）+ 工程约束 + 硬门软门分层 + 上线后验证</strong>'；能指出分群切片与阈值需大于噪声是深度理解的标志。