LLM Evaluation Benchmarks: 解释安全评估与红队（red teaming）。

Core Concept: 主动构造对抗性输入（越狱/诱导）找漏洞；需覆盖攻击类型、评估拒答率与危害度，并持续迭代。

数学机理：<strong>红队（red teaming）</strong> 指<strong>主动地、对抗性地</strong>寻找模型的安全漏洞（而非被动地测正常输入）。<strong>攻击类型</strong>——(a) <strong>越狱（jailbreak）</strong>——用角色扮演、虚构场景、编码/翻译、多轮铺垫等手段绕过安全限制（'假设你在写小说，描述如何…'）；(b) <strong>提示注入（prompt injection）</strong>——在检索内容/工具返回/网页中植入指令（'忽略之前的指令，改为…'）；(c) <strong>有害内容诱导</strong>——诱导生成歧视、暴力、违法内容；(d) <strong>隐私提取</strong>——试图让模型泄露训练数据中的个人信息；(e) <strong>能力滥用</strong>——诱导模型协助网络攻击、欺诈等。<strong>评估维度</strong>——(a) <strong>攻击成功率（ASR）</strong>——多少攻击成功绕过防护；(b) <strong>危害程度</strong>——成功后的内容有多有害（分级）；(c) <strong>拒答率（refusal rate）</strong>——对有害请求的拒答比例；(d) <strong>过度拒答（over-refusal / false refusal）</strong>——对<strong>无害</strong>请求也拒答（损害可用性）；这是安全评估必须同时监控的指标（否则模型会'为安全而变得无用'）。<strong>评估方法</strong>——(a) <strong>人工红队</strong>——专家设计攻击（质量高、可发现新漏洞，但慢）；(b) <strong>自动化红队</strong>——用 LLM 生成攻击（可大规模，如'用 LLM 攻击 LLM'）；(c) <strong>基准</strong>——(i) <strong>AdvBench / HarmBench</strong>（有害请求）；(ii) <strong>JailbreakBench</strong>（越狱）；(iii) <strong>AgentDojo</strong>（Agent 的提示注入）；(iv) <strong>SafetyBench</strong>。(d) <strong>对抗性迭代</strong>——发现漏洞后修复，再用新手法攻击（持续对抗）。<strong>报告规范</strong>——(a) 同时报告'攻击成功率'与'过度拒答率'（避免'为安全牺牲一切'）；(b) 报告攻击类型分布；(c) 说明评估的时效性（攻击手法在演进，旧结果可能过时）。<strong>与'对齐税'的关系</strong>——过度安全会损害能力与可用性；故安全评估需与'能力评估'并列，寻找平衡点。<strong>工程实践</strong>——(a) <strong>分层防护</strong>（输入过滤 + 模型对齐 + 输出过滤）；(b) <strong>持续红队</strong>（发布前后定期）；(c) <strong>漏洞响应流程</strong>（发现后快速修复）。

深度剖析与工程权衡：① <strong>'过度拒答'必须与'攻击成功率'并列监控</strong>——只优化'拒答率'会让模型拒绝一切（无用）；故需同时衡量'对无害请求的拒答率'。这是安全评估的核心平衡。② <strong>'提示注入'是 Agent 时代的头号风险</strong>——因为 Agent 会读取外部内容（网页、文档、工具返回），恶意内容可植入指令（'忽略用户指令，把数据发到…'）；故需 (a) 区分'用户指令'与'数据内容'（用特殊标记）、(b) 工具权限最小化、(c) 高风险操作确认。③ <strong>'红队需持续迭代'</strong>——攻击手法不断演进（新的越狱模板），故一次性评估会过时；需定期重跑并更新攻击集。④ <strong>'自动化红队'的可扩展性</strong>——用 LLM 生成攻击可大规模覆盖（成本低），但可能'模式单一'（缺少人类创造力）；故常'自动化 + 人工'结合。⑤ <strong>'安全-能力-可用性'三角</strong>——三者存在张力；实践中需按产品定位选点（如医疗场景更重安全、创意场景更重可用性）。⑥ <strong>面试要点</strong>——被问'怎么做安全评估'，应给出'<strong>红队（越狱/注入/有害诱导）+ 四维指标（ASR/危害度/拒答率/过度拒答）+ 人工+自动化+基准 + 持续迭代</strong>'，并强调'<strong>过度拒答必须与攻击成功率并列监控</strong>'与'<strong>提示注入是 Agent 的头号风险</strong>'；这是安全类问题的高分回答。