Prompting & Reasoning Techniques: 解释提示的脆弱性与鲁棒性问题。

Core Concept: 微小改动（措辞、顺序、格式）可导致性能大幅波动；成因包括分布敏感、注意力位置效应与评测噪声。

数学机理：<strong>提示脆弱性（prompt brittleness）</strong> 指<strong>语义等价但形式不同</strong>的 prompt 导致性能显著差异。<strong>表现</strong>：(a) <strong>同义改写</strong>——'请总结'vs'总结一下'可能差几个点；(b) <strong>示例顺序</strong>——同一组示例重排影响准确率；(c) <strong>标点/空格</strong>——多余的换行或标点改变输出；(d) <strong>标签词选择</strong>——'是/否'vs'正确/错误'vs'Yes/No'差异明显；(e) <strong>格式</strong>——markdown vs 纯文本、大小写。<strong>成因</strong>：(1) <strong>分布敏感性</strong>——模型是'模式匹配器'，对训练中见过的模式敏感；同义改写会激活不同的内部表征；(2) <strong>注意力位置效应</strong>——RoPE 的远距离衰减与近因效应使'信息位置'影响权重；(3) <strong>tokenization 差异</strong>——不同措辞的 token 序列不同，导致不同的计算路径；(4) <strong>评测噪声</strong>——小测试集上的波动可能被误认为'脆弱性'（需注意统计显著性）。<strong>缓解手段</strong>：(a) <strong>prompt 集成（ensemble）</strong>——对同一任务用多个措辞/顺序，对结果投票或平均；(b) <strong>自动 prompt 优化</strong>——用搜索（如 APE、OPRO）或梯度（如 soft prompt 调优）找稳健的 prompt；(c) <strong>多次采样</strong>——对同一 prompt 采样多次取多数（降低采样噪声）；(d) <strong>稳健评测</strong>——报告多个 prompt 变体的<strong>均值与方差</strong>（而非单次最好结果）；(e) <strong>明确格式约束</strong>——用结构化输出（JSON schema）替代自然语言描述（更稳定）；(f) <strong>少样本示例</strong>——示例能'锚定'格式与任务（比纯自然语言描述更稳）。<strong>根本局限</strong>——脆弱性源于'模型依赖表面模式而非语义理解'；故它是 LLM 的<strong>固有性质</strong>（无法完全消除），只能通过工程手段<strong>缓解</strong>。<strong>与'评测可信度'的关系</strong>——若只报告'最好的 prompt'的结果，会高估能力；规范做法是报告<strong>多个 prompt 的分布</strong>（或使用标准化评测框架）。

深度剖析与工程权衡：① <strong>'语义等价但结果不同'说明模型并非真正理解语义</strong>——这是脆弱性的本质；面试中能指出这一点（而非只说'prompt 要写好'）是深度理解的标志。② <strong>'结构化输出比自然语言描述更稳'</strong>——这是重要的工程实践：用 JSON schema / 约束解码替代'请输出 JSON 格式'的自然语言指令，可显著提升稳定性（见约束解码题）。③ <strong>'报告均值与方差'是评测纪律</strong>——只看单次最好结果会高估；规范做法是多 prompt 变体 + 多次采样，报告分布。④ <strong>与'prompt 工程的可持续性'的关系</strong>——手工调 prompt 难以泛化（换模型/换版本就失效）；故工业界更倾向 (a) 微调（把任务学进权重）、(b) 结构化输出、(c) 自动化 prompt 优化。⑤ <strong>'自动 prompt 优化'的现状</strong>——(a) <strong>离散</strong>（APE/OPRO：用 LLM 生成候选 prompt 并评估）；(b) <strong>连续</strong>（soft prompt / prefix tuning：在嵌入空间优化）；前者易用但效果不稳定，后者有效但需白盒访问。⑥ <strong>面试要点</strong>——被问'prompt 脆弱性'，应给出'<strong>表现（同义改写/顺序/标点）+ 成因（模式匹配、注意力位置、tokenization、评测噪声）+ 缓解（集成、自动优化、结构化输出、稳健评测）</strong>'，并强调'<strong>模型依赖表面模式而非语义理解</strong>'这一本质；能指出'应报告 prompt 变体的均值与方差'是深度理解的标志。