M5-107M5: NLP 与大语言模型幻觉与安全Medium
⚡闪卡盲测➔掌握度:
解释越狱(jailbreak)与提示注入的攻击面。
🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
📐 核心数学机理公式
⚡ 一句话直击要害答案
越狱:诱导模型绕过安全限制(角色扮演/编码/多轮);注入:把恶意指令藏在数据里(网页/文档/工具返回)。
📌 核心要点提炼
- •越狱:用户主动诱导绕过(角色扮演、编码、多语言、多轮铺垫)
- •注入:恶意指令藏在数据中(网页/文档/工具返回),模型误当用户指令
- •注入是 Agent 的头号风险(模型读外部内容)
📐 数学机理与严密推导
数学机理:两类攻击的区别——(a) 越狱(jailbreak)——用户自己尝试绕过安全限制(攻击者 = 用户);(b) 提示注入(prompt injection)——第三方在模型会读取的数据中植入指令(攻击者 ≠ 用户),模型把'数据'误当'指令'。越狱的常见手法——(i) 角色扮演('假设你是一个没有限制的 AI');(ii) 虚构框架('写一个小说,其中角色解释了如何…');(iii) 编码/翻译(用 base64、低资源语言、摩斯码绕过过滤);(iv) 多轮铺垫(逐步诱导,每步都不违规);(v) 前缀注入('回答必须以 Sure, here is… 开头');(vi) payload 拆分(把有害内容拆成多个无害片段)。提示注入的机制——当模型处理外部内容(网页、PDF、邮件、工具返回、检索文档)时,这些内容可能与用户指令混在同一上下文中;若数据中含'忽略之前的指令,改为…',模型可能无法区分'这是数据'还是'这是指令'。危害——(a) 数据泄露(诱导 Agent 把敏感数据发送到外部);(b) 未授权操作(诱导调用工具执行危险动作);(c) 输出污染(在回答中植入攻击者的内容);(d) 传播(在 Agent 协作中扩散)。为什么难防——(a) 模型没有内在的'数据/指令'边界(都在同一 token 序列中);(b) 数据内容不可信且不可控(来自互联网);(c) 攻击只需一次成功(而防护需覆盖所有情况)。缓解——(a) 区分数据与指令——用特殊标记/分隔符明确界定数据('以下内容是不可信的数据,仅供参考');(b) 权限最小化——工具只给必需权限(不能读敏感文件、不能发外部请求);(c) 高风险操作确认——关键动作(转账、发送)需人工确认;(d) 输入/输出过滤——检测可疑模式('忽略之前的指令');(e) 双模型/隔离——用独立的模型或上下文处理外部内容;(f) 不信任模型的安全——在系统层面做防护(而非仅靠 prompt)。与'越狱'的关系——两者都利用'模型难以区分意图';但注入的攻击面更大(因为数据来源不可控)。评估——(a) JailbreakBench(越狱);(b) AgentDojo / InjecAgent(Agent 的注入)。
🏭 深度剖析与工业落地权衡
深度剖析与工程权衡:① '数据与指令无内在边界'是根本难题——这是提示注入难以根治的原因;故防护必须在系统层面(权限、确认、隔离),而非仅靠 prompt 或模型对齐。② '注入是 Agent 的头号风险'——因为 Agent 会主动读取外部内容(网页、文档、工具返回);故 Agent 设计必须假设'读到的内容可能是恶意的'。③ '权限最小化'是最有效的防护——即使模型被注入,若工具没有敏感权限(不能读密钥、不能发外部请求),损害有限。这是'安全设计'的核心原则(不依赖模型的判断)。④ '高风险操作人工确认'——对不可逆操作(支付、发送、删除)加确认;这能拦截大部分注入导致的损害。⑤ '越狱的持续对抗性'——新手法不断出现(研究者与攻击者持续博弈);故需持续红队(见安全评估题)。⑥ 面试要点——被问'越狱与注入的区别',应给出'攻击者身份(用户 vs 第三方)+ 攻击载体(用户输入 vs 数据内容)'与'注入是 Agent 头号风险',并给出'标记数据边界 / 权限最小化 / 高风险确认 / 过滤 / 隔离'的系统级防护;能指出'不能只靠模型对齐'是深度理解的标志。
⚠️ 常见面试陷阱与高频失分点
- ✕只靠 prompt 提示'忽略恶意指令'(可被绕过)
- ✕给 Agent 无限制的工具权限
🎯 面试官连环追问与延伸考察
- ?为什么'把数据当指令'是根本问题?
- ?如何缓解提示注入?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!