Hallucination & AI Safety: 解释护栏（guardrails）的分层设计。

Core Concept: 输入过滤 → 模型对齐 → 输出过滤 → 运行时监控，多层互补；单层都可能被绕过，故需纵深防御。

数学机理：<strong>纵深防御（defense in depth）</strong>——安全的通用原则是'不依赖单层防护'（因为任何单层都可被绕过）。<strong>四层护栏</strong>：<strong>(1) 输入层</strong>——在请求进入模型前检查：(a) <strong>有害请求分类</strong>（用分类器/规则检测违规意图）；(b) <strong>注入检测</strong>（检测'忽略之前的指令'等模式）；(c) <strong>长度/频率限制</strong>（防滥用）；(d) <strong>敏感信息检测</strong>（如 PII 检测）。<strong>优点</strong>——便宜、快、可在模型外实现；<strong>缺点</strong>——<strong>误判</strong>（正常请求被拦）、<strong>易绕过</strong>（改写/编码）。<strong>(2) 模型层（对齐）</strong>——通过训练（SFT/RLHF/CAI）让模型<strong>自己拒绝</strong>有害请求、遵循安全原则。<strong>优点</strong>——灵活（能理解语义与上下文）；<strong>缺点</strong>——<strong>可被越狱</strong>（对抗性提示）、<strong>可能过度拒答</strong>。<strong>(3) 输出层</strong>——在返回前检查：(a) <strong>有害内容分类</strong>（检测生成的违规内容）；(b) <strong>幻觉检测</strong>（忠实度校验、不确定性）；(c) <strong>隐私泄露检测</strong>（是否泄露 PII/训练数据）；(d) <strong>格式校验</strong>（结构化输出是否符合 schema）。<strong>优点</strong>——能拦截'模型层漏掉'的问题；<strong>缺点</strong>——增加延迟、可能误拦。<strong>(4) 运行时与运维层</strong>——(a) <strong>监控</strong>（异常模式、攻击尝试）；(b) <strong>限流/配额</strong>（防滥用）；(c) <strong>审计日志</strong>（可追溯）；(d) <strong>人工升级</strong>（高风险转人工）；(e) <strong>工具权限控制</strong>（最小权限、高风险确认）。<strong>为什么需要多层</strong>——(a) 输入过滤可被'改写'绕过，但模型对齐能理解语义；(b) 模型对齐可被'越狱'绕过，但输出过滤能拦截结果；(c) 输出过滤有延迟与误判，故需监控与人工兜底。<strong>权衡</strong>——<strong>安全 vs 可用性</strong>：(a) 护栏过严 → <strong>过度拒答</strong>（正常请求被拦，用户不满）；(b) 护栏过松 → 有害内容泄露。故需按产品定位调阈值，并<strong>监控误拦率</strong>（over-blocking rate）。<strong>工程实践</strong>——(a) 用<strong>分级处理</strong>（低风险直接过、中风险加检查、高风险拒答/人工）；(b) <strong>可配置</strong>（不同场景不同策略）；(c) <strong>可观测</strong>（记录拦截原因，便于调优）；(d) <strong>快速迭代</strong>（攻击演进则更新护栏）。<strong>框架</strong>——(a) <strong>NeMo Guardrails</strong>；(b) <strong>Llama Guard</strong>（输入/输出的安全分类器）；(c) <strong>Guardrails AI</strong>。

深度剖析与工程权衡：① <strong>'纵深防御'是安全工程的基本原则</strong>——任何单层都可被绕过；故必须多层。面试中能指出'不依赖单层'是深度理解的标志。② <strong>'误拦率'必须与'漏拦率'并列监控</strong>——只优化'不漏'会让模型拒绝一切（无用）；故需同时衡量'正常请求被误拦的比例'。这是安全与体验的平衡。③ <strong>'输出层检查'能捕获'模型层漏掉'的问题</strong>——例如模型被越狱生成了有害内容，输出分类器仍能拦截；这是'最后一道防线'。④ <strong>'工具权限'是 Agent 时代的关键护栏</strong>——因为提示注入无法根治，故'即使被注入也造成不了大损害'是核心设计（最小权限 + 高风险确认）。⑤ <strong>'分级处理'提升体验</strong>——低风险请求不应被额外检查拖慢；故按风险分级（如'简单问答'直接过、'涉及敏感话题'加检查）。⑥ <strong>面试要点</strong>——被问'护栏怎么设计'，应给出'<strong>四层（输入/模型/输出/运维）+ 纵深防御 + 误拦率监控 + 分级处理 + 工具权限</strong>'，并强调'<strong>不依赖单层（都可被绕过）</strong>'与'<strong>安全与可用性的平衡</strong>'；这是安全工程类问题的高分回答。