Scaling Laws & Compute Allocation: 解释涌现能力（emergence）与它的争议。

Core Concept: 某些能力在小模型上接近随机、超过某规模后突然出现；但争议认为这是'指标不连续'造成的假象。

数学机理：<strong>涌现能力（emergent abilities）</strong>——Wei 等（2022）观察到某些能力（如三位数算术、多步推理、指令遵循）在小模型上表现接近<strong>随机</strong>（准确率约 0），但模型规模超过某阈值后<strong>突然跃升</strong>到较高水平。这被解释为'能力随规模<strong>不连续</strong>出现'。<strong>争议（Schaeffer 等 2023）</strong>——他们指出：若把<strong>不连续的指标</strong>（如'精确匹配准确率'）换成<strong>连续指标</strong>（如'编辑距离'、'token 级似然'），则同样的模型规模曲线上'涌现'会<strong>变平滑</strong>。机制：当正确答案需要<strong>多个 token 全部正确</strong>（如算术题的多位数字）时，单 token 准确率随规模<strong>平滑提升</strong>，但'全部正确'的概率是各 token 正确率的<strong>乘积</strong>——当单 token 准确率 <1 时，乘积随题长<strong>指数衰减</strong>；只有当单 token 准确率足够高（接近 1）时，乘积才显著上升。故'涌现'可能是<strong>指标设计</strong>（要求全对）与<strong>任务长度</strong>共同造成的<strong>表观不连续</strong>，而非模型内部机制的突变。<strong>双方观点</strong>——(a) 支持涌现：某些能力确实需要'组合多个子技能'，而组合的临界点可能产生实际的不连续（如 in-context learning 需要足够的'归纳头'容量）；(b) 反对涌现：多数报告的'涌现'可被连续指标消除，说明是<strong>度量假象</strong>。<strong>实践含义</strong>——(a) <strong>小规模实验难以预测大模型能力</strong>（无论是否真涌现，外推都有风险）；(b) <strong>指标设计影响结论</strong>（评估应用连续指标 + 分解子技能）；(c) <strong>规划时需谨慎</strong>（不能假设'能力随规模线性增长'）。

深度剖析与工程权衡：① <strong>'指标假象'的机制很关键</strong>——'多 token 任务的全对率 = 各 token 正确率的乘积'这一简单数学事实，足以在平滑的子技能曲线上制造出'陡峭的跃升'。理解这一点能避免把'评估指标'误当作'模型机制'。② <strong>涌现的实际影响</strong>——即使部分涌现是假象，<strong>实践规划仍受影响</strong>：若某项能力在小模型上'几乎为 0'，你<strong>无法</strong>可靠预测大模型上的表现（可能平滑提升、也可能真跃升）。故'用大模型试'仍是必要的。③ <strong>与 in-context learning 的关系</strong>——ICL 的涌现（小模型无法从示例中学习）被认为可能与'<strong>归纳头（induction head）</strong>'的出现有关（一种在特定层实现'复制'机制的注意力模式）；这类研究试图给出<strong>机制层面</strong>的涌现解释（而非仅指标层面）。④ <strong>与评估设计的关系</strong>——评估应 (a) 报告<strong>多个粒度</strong>的指标（token 级、步骤级、最终答案级）；(b) 对'多步任务'报告<strong>每步准确率</strong>（而非只看全对率）；(c) 用连续指标（如 Brier score、编辑距离）补充离散指标。⑤ <strong>对模型选择的启示</strong>——不要因为'小模型在某任务上 0 分'就断定该任务'不可能由小模型完成'（可能是指标问题）；反之也不要因'大模型突然会了'就认为'小模型加数据也能会'。⑥ <strong>面试要点</strong>——被问'涌现能力是真的吗'，应给出'<strong>现象（能力跃升）+ 争议（连续指标下变平滑，机制是全对率 = 子技能乘积）+ 实践含义（小规模难预测、指标设计影响结论）</strong>'；能解释'乘积造成表观不连续'的机制是深度理解的标志。