Prompting & Reasoning Techniques: 解释 prompt 的格式敏感性与 chat template 的影响。

Core Concept: 同一语义的不同格式（标点、角色标记、换行）会改变输出；chat template 的差异会造成跨模型性能显著变化。

数学机理：<strong>格式敏感性的来源</strong>——(1) <strong>tokenization 差异</strong>——同一语义的不同措辞产生不同的 token 序列，激活不同的内部表征；(2) <strong>注意力位置效应</strong>——标点/换行改变 token 的相对位置，影响注意力权重（RoPE 的位置敏感）；(3) <strong>预训练分布</strong>——模型在训练中见过特定的格式模式（如 markdown、特定角色标记），偏离这些模式会降低表现；(4) <strong>特殊 token 的作用</strong>——chat template 中的角色标记（如 <code><|user|></code>、<code><|assistant|></code>）是模型'识别谁在说话'的关键；缺失或错位会使模型困惑。<strong>chat template 的影响</strong>——每个模型（或模型家族）有<strong>自己的 chat template</strong>：(a) 角色标记的形式（<code><|im_start|></code>、<code>[INST]</code>、<code><|user|></code> 等）；(b) 是否支持 system 角色；(c) 换行与空格的处理；(d) BOS/EOS 的位置。<strong>后果</strong>：(a) <strong>prompt 不可跨模型迁移</strong>——为模型 A 精心设计的 prompt 在模型 B 上可能效果大降（因为 template 不同）；(b) <strong>训练-推理必须同 template</strong>（见 SFT 的 chat template 题）；(c) <strong>API 与本地模型的差异</strong>——API 通常自动套用官方 template，而本地推理需手动套用（易错）。<strong>缓解手段</strong>：(1) <strong>使用目标模型的官方 template</strong>（从模型卡或 tokenizer 配置获取）；(2) <strong>用结构化输出</strong>（JSON schema / 约束解码）替代自然语言的格式描述；(3) <strong>多格式集成</strong>——对同一任务用几种格式，投票或平均；(4) <strong>格式无关的训练</strong>——在 SFT 时用多种 template 变体（提升鲁棒性）；(5) <strong>自动化 prompt 优化</strong>（针对目标模型优化）。<strong>与'脆弱性'的关系</strong>——格式敏感性是'提示脆弱性'的一个重要维度（见上一题）；理解它能解释'为什么 prompt 工程难以迁移'。

深度剖析与工程权衡：① <strong>'prompt 不可跨模型迁移'是实践中的重要认知</strong>——同一 prompt 在不同模型上的表现可能差很多；故 (a) 换模型时需重新调 prompt、(b) 评测框架应使用各模型的官方 template、(c) 不要用'在模型 A 上调好的 prompt'去比较模型 B。② <strong>'本地推理最易出错的地方是 template'</strong>——手工套用 template 时常漏掉特殊 token 或换行；故应 (a) 用 tokenizer 的 <code>apply_chat_template</code>、(b) 加一致性测试（对比 API 与本地的 token 序列）。③ <strong>'结构化输出'是减少格式敏感的有效手段</strong>——用 JSON schema + 约束解码，把'格式要求'从自然语言（脆弱）变为'硬约束'（可靠）。④ <strong>与'多语言'的关系</strong>——不同语言的格式习惯不同（如中文标点 vs 英文），故多语言场景的格式设计需注意。⑤ <strong>与'模型版本'的关系</strong>——同一模型的<strong>不同版本</strong>可能更改 template（如 LLaMA-2 到 LLaMA-3 的 template 完全不同）；故升级模型时需检查 template。⑥ <strong>面试要点</strong>——被问'prompt 为什么不能跨模型用'，应给出'<strong>chat template 不同（角色标记/特殊 token/换行）+ tokenization 差异 + 预训练格式分布</strong>'，并给出'<strong>用官方 template / 结构化输出 / 多格式集成 / 一致性测试</strong>'等缓解；能指出'本地推理最易漏掉特殊 token'是深度理解的标志。