ML System Design Framework: 设计一个内容审核（安全）系统。

Core Concept: 分层：规则/哈希匹配 → 分类模型 → 多模态模型 → 人工审核；关键是召回（漏放风险）与误伤率的权衡。

数学机理：<strong>内容审核系统的分层设计</strong>——(1) <strong>分层（cascade）</strong>——(a) <strong>第一层：哈希/黑名单</strong>（已知的违规内容——精确哈希 + 近重复检测）——<strong>毫秒级、零成本、100% 精确</strong>；(b) <strong>第二层：轻量分类器</strong>（文本/图像分类模型）——<strong>十毫秒级</strong>（覆盖已知类别）；(c) <strong>第三层：多模态/VLM</strong>（复杂场景：图文组合、隐晦表达、上下文依赖）——<strong>百毫秒到秒级</strong>（覆盖新变体）；(d) <strong>第四层：人工审核</strong>（高风险/低置信度）——<strong>分钟到小时级</strong>（最终裁决）；(e) <strong>第五层：用户举报/申诉</strong>（事后补充）。(2) <strong>核心权衡</strong>——(a) <strong>漏放（false negative）</strong>——违规内容未被拦截 → <strong>安全风险</strong>（法律/舆情/用户伤害）；(b) <strong>误伤（false positive）</strong>——正常内容被拦截 → <strong>体验损失</strong>（创作者流失、用户不满）；(c) <strong>两者的成本不对称</strong>——漏放的成本通常远高于误伤（尤其严重违规）；故<strong>倾向高召回</strong>（宁可错杀）；(d) <strong>但</strong>——误伤的成本也不能忽视（'过度审核'会让平台失去活力）。(3) <strong>评估</strong>——(a) <strong>分召回/误伤率</strong>（而非单一准确率）；(b) <strong>按类别分层</strong>（不同违规类别的严重度不同）；(c) <strong>人工标注的测试集</strong>（含'边界案例'）；(d) <strong>'漏放'的抽样审计</strong>（上线后抽查）；(e) <strong>申诉数据</strong>（用户申诉是'误伤'的信号）。(4) <strong>运营</strong>——(a) <strong>申诉流程</strong>（用户可申诉，人工复核）；(b) <strong>审计日志</strong>（可追溯）；(c) <strong>热点响应</strong>（突发事件时快速更新规则）；(d) <strong>审核员的管理</strong>（心理健康、一致性、效率）；(e) <strong>透明度报告</strong>（公开审核数据）。(5) <strong>技术要点</strong>——(a) <strong>多模态</strong>（文本+图像+视频）；(b) <strong>上下文依赖</strong>（同一句话在不同语境下不同）；(c) <strong>对抗性</strong>（用户会'变形'绕过——谐音/图片/表情符号）；(d) <strong>多语言/方言</strong>；(e) <strong>延迟</strong>（UGC 场景需低延迟）。<strong>失败模式</strong>——(a) <strong>对抗性绕过</strong>（变形/编码/图片）；(b) <strong>误伤正常内容</strong>（尤其少数群体/方言）；(c) <strong>审核员疲劳</strong>（一致性下降）；(d) <strong>热点事件</strong>（规则更新滞后）；(e) <strong>偏见</strong>（对某些群体更严格）。<strong>实践建议</strong>——(a) <strong>分层</strong>（哈希 → 分类器 → 多模态 → 人工）；(b) <strong>倾向高召回</strong>（安全优先）+ <strong>申诉兜底</strong>；(c) <strong>分类别评估</strong>；(d) <strong>对抗性测试</strong>（红队）；(e) <strong>快速响应</strong>（热点）；(f) <strong>审核员支持</strong>（心理健康/轮换）。<strong>度量</strong>——(a) 各层的召回/误伤率；(b) 申诉率与申诉成功率；(c) 响应延迟；(d) 类别覆盖；(e) 偏见指标（分群体的误伤率）。

深度剖析与工程权衡：① <strong>'漏放与误伤成本不对称'是核心</strong>——故倾向高召回 + 申诉兜底；面试中能指出是深度理解的标志。② <strong>'分层'兼顾成本与覆盖</strong>——哈希（零成本）→ 分类器（便宜）→ VLM（贵）→ 人工（最贵）。③ <strong>'对抗性绕过'是持续挑战</strong>——用户会变形；需红队与快速迭代。④ <strong>'误伤少数群体'是偏见问题</strong>——需分群体监控误伤率。⑤ <strong>'审核员心理健康'常被忽视但重要</strong>——需轮换与支持。⑥ <strong>面试要点</strong>——被问'设计内容审核系统'，应给出'<strong>分层（哈希/分类器/VLM/人工/申诉）+ 漏放与误伤的权衡 + 分类别评估 + 对抗性 + 运营（申诉/审计/审核员）</strong>'；能指出'成本不对称'是深度理解的标志。