Prompting & Reasoning Techniques: 解释 few-shot 示例的选择与排序影响。

Core Concept: 示例的选择（相似性/多样性）与顺序（近因效应）显著影响效果；随机顺序不可靠，需按任务设计。

数学机理：<strong>示例选择（selection）</strong>——(a) <strong>相似性</strong>——选与当前查询<strong>语义相似</strong>的示例（用嵌入检索），使模型'照猫画虎'（对格式/领域敏感的任务有效）；(b) <strong>多样性</strong>——选<strong>覆盖不同模式</strong>的示例（如不同难度的题），使模型学到'任务的边界'（避免过拟合到单一模式）；(c) <strong>难易度</strong>——选与查询<strong>难度相近</strong>的示例；(d) <strong>不确定性</strong>——选模型'最不确定'的示例（主动学习思想）。实践中常'相似性 + 多样性'结合（如先检索相似的，再在其中选多样的）。<strong>顺序影响（order）</strong>——(a) <strong>近因效应（recency bias）</strong>——模型对<strong>最后几个</strong>示例的模仿更强（因为它们在注意力上更'近'），故把'最想要的格式'放在最后；(b) <strong>排列敏感性</strong>——同一组示例的不同排列会导致显著不同的准确率（研究显示波动可达数个百分点甚至更多）；(c) <strong>'多数标签'偏差</strong>——若示例中某标签占多数，模型倾向输出该标签（即使查询不匹配）；故需<strong>平衡标签分布</strong>；(d) <strong>格式传染</strong>——示例的格式（如'答案是 X'、markdown、语气）会被模型模仿，故需与期望输出一致。<strong>为什么顺序有影响</strong>——Transformer 的注意力对位置敏感（RoPE 的远距离衰减 + 近因效应），且预训练语料中'后面的内容更重要'的模式被学到。<strong>实践建议</strong>——(a) <strong>不要随机排列</strong>（除非做多次采样平均）；(b) 把<strong>最相关/最想要的示例放最后</strong>；(c) 保持<strong>标签平衡</strong>与<strong>格式一致</strong>；(d) 用<strong>检索</strong>动态选示例（而非固定几个）；(e) 对顺序敏感的任务做<strong>多顺序集成</strong>（不同顺序投票）。<strong>与'零样本/少样本'的关系</strong>——few-shot 的有效性依赖示例质量；若示例质量差或与查询不匹配，可能<strong>不如零样本</strong>（zero-shot 更简洁、无噪声）。

深度剖析与工程权衡：① <strong>'顺序敏感性'是实践中的重要坑</strong>——同一组示例换个顺序，准确率可能差 5~10 个点；故 (a) 不应依赖单次排列的结果、(b) 报告结果时需说明排列、(c) 关键应用应做顺序集成。② <strong>'格式传染'的双面性</strong>——它使 few-shot 成为'控制输出格式'的有效手段（比自然语言描述更可靠）；但也意味着示例格式错误会污染输出。③ <strong>'检索动态示例'是主流做法</strong>——固定示例无法覆盖所有查询；用嵌入检索'最相似的 K 个'（kNN few-shot / in-context learning with retrieval）显著优于随机选。④ <strong>与'微调'的对比</strong>——few-shot 是'用上下文注入任务'（无需训练）；当任务固定且数据充足时，微调通常优于 few-shot（更稳定、更省上下文）。故 few-shot 适合'快速原型/多任务通用'场景。⑤ <strong>'标签偏差'的处理</strong>——若无法平衡标签（如真实分布不均），可在示例中刻意均衡（提高少数类比例），或明确说明'标签可能不平衡'。⑥ <strong>面试要点</strong>——被问'few-shot 怎么设计'，应给出'<strong>示例选择（相似+多样）+ 顺序（近因效应、格式传染）+ 标签平衡 + 检索动态示例</strong>'，并强调'<strong>不要随机排列、要放在最后放最想要的格式</strong>'；能指出'few-shot 可能不如 zero-shot（若示例不匹配）'是深度理解的标志。