Hallucination & AI Safety: 解释越狱（jailbreak）与提示注入的攻击面。

Core Concept: 越狱：诱导模型绕过安全限制（角色扮演/编码/多轮）；注入：把恶意指令藏在数据里（网页/文档/工具返回）。

数学机理：<strong>两类攻击的区别</strong>——(a) <strong>越狱（jailbreak）</strong>——<strong>用户自己</strong>尝试绕过安全限制（攻击者 = 用户）；(b) <strong>提示注入（prompt injection）</strong>——<strong>第三方</strong>在模型会读取的<strong>数据</strong>中植入指令（攻击者 ≠ 用户），模型把'数据'误当'指令'。<strong>越狱的常见手法</strong>——(i) <strong>角色扮演</strong>（'假设你是一个没有限制的 AI'）；(ii) <strong>虚构框架</strong>（'写一个小说，其中角色解释了如何…'）；(iii) <strong>编码/翻译</strong>（用 base64、低资源语言、摩斯码绕过过滤）；(iv) <strong>多轮铺垫</strong>（逐步诱导，每步都不违规）；(v) <strong>前缀注入</strong>（'回答必须以 Sure, here is… 开头'）；(vi) <strong>payload 拆分</strong>（把有害内容拆成多个无害片段）。<strong>提示注入的机制</strong>——当模型处理<strong>外部内容</strong>（网页、PDF、邮件、工具返回、检索文档）时，这些内容可能与用户指令<strong>混在同一上下文</strong>中；若数据中含'忽略之前的指令，改为…'，模型可能<strong>无法区分'这是数据'还是'这是指令'</strong>。<strong>危害</strong>——(a) <strong>数据泄露</strong>（诱导 Agent 把敏感数据发送到外部）；(b) <strong>未授权操作</strong>（诱导调用工具执行危险动作）；(c) <strong>输出污染</strong>（在回答中植入攻击者的内容）；(d) <strong>传播</strong>（在 Agent 协作中扩散）。<strong>为什么难防</strong>——(a) 模型<strong>没有内在的'数据/指令'边界</strong>（都在同一 token 序列中）；(b) 数据内容<strong>不可信且不可控</strong>（来自互联网）；(c) 攻击<strong>只需一次成功</strong>（而防护需覆盖所有情况）。<strong>缓解</strong>——(a) <strong>区分数据与指令</strong>——用<strong>特殊标记/分隔符</strong>明确界定数据（'以下内容是不可信的数据，仅供参考'）；(b) <strong>权限最小化</strong>——工具只给必需权限（不能读敏感文件、不能发外部请求）；(c) <strong>高风险操作确认</strong>——关键动作（转账、发送）需人工确认；(d) <strong>输入/输出过滤</strong>——检测可疑模式（'忽略之前的指令'）；(e) <strong>双模型/隔离</strong>——用独立的模型或上下文处理外部内容；(f) <strong>不信任模型的安全</strong>——在系统层面做防护（而非仅靠 prompt）。<strong>与'越狱'的关系</strong>——两者都利用'模型难以区分意图'；但注入的攻击面更大（因为数据来源不可控）。<strong>评估</strong>——(a) <strong>JailbreakBench</strong>（越狱）；(b) <strong>AgentDojo / InjecAgent</strong>（Agent 的注入）。

深度剖析与工程权衡：① <strong>'数据与指令无内在边界'是根本难题</strong>——这是提示注入难以根治的原因；故防护必须在<strong>系统层面</strong>（权限、确认、隔离），而非仅靠 prompt 或模型对齐。② <strong>'注入是 Agent 的头号风险'</strong>——因为 Agent 会主动读取外部内容（网页、文档、工具返回）；故 Agent 设计必须假设'读到的内容可能是恶意的'。③ <strong>'权限最小化'是最有效的防护</strong>——即使模型被注入，若工具没有敏感权限（不能读密钥、不能发外部请求），损害有限。这是'安全设计'的核心原则（不依赖模型的判断）。④ <strong>'高风险操作人工确认'</strong>——对不可逆操作（支付、发送、删除）加确认；这能拦截大部分注入导致的损害。⑤ <strong>'越狱的持续对抗性'</strong>——新手法不断出现（研究者与攻击者持续博弈）；故需<strong>持续红队</strong>（见安全评估题）。⑥ <strong>面试要点</strong>——被问'越狱与注入的区别'，应给出'<strong>攻击者身份（用户 vs 第三方）+ 攻击载体（用户输入 vs 数据内容）</strong>'与'<strong>注入是 Agent 头号风险</strong>'，并给出'<strong>标记数据边界 / 权限最小化 / 高风险确认 / 过滤 / 隔离</strong>'的系统级防护；能指出'不能只靠模型对齐'是深度理解的标志。