GRPO & Reasoning Models: 解释推理模型的评估与成本权衡。

Core Concept: 评估需覆盖多难度与多领域（且防污染）；成本 ∝ 输出长度，需在准确率与 token 成本间权衡（自适应推理）。

数学机理：<strong>评估维度</strong>——推理模型的评估比普通 LLM 更复杂。(1) <strong>难度覆盖</strong>——需覆盖从简单（小学算术）到极难（奥赛/博士级）的难度梯度；只看难题会低估（模型可能在小问题上过度思考），只看简单题会高估。(2) <strong>领域覆盖</strong>——数学、代码、科学、逻辑、常识推理；不同领域的表现差异大（模型可能'偏科'）。(3) <strong>防污染</strong>——推理基准（AIME、MATH、GPQA）常被公开，容易进入训练数据；故需 (a) 用<strong>新发布的</strong>题目（时间切分）、(b) 检测 n-gram 重叠、(c) 用<strong>私有/动态</strong>测试集。(4) <strong>pass@1 vs pass@k</strong>——推理模型常用'采样多次取正确'（pass@k）评估，但<strong>部署时是 pass@1</strong>；故应报告 pass@1（或明确说明采样数）。(5) <strong>成本维度</strong>——需报告<strong>准确率与输出 token 数</strong>（或成本）的联合指标（如'每千 token 的准确率'）；只看准确率会忽略'用 10 倍 token 换 5 分'的经济性。<strong>成本权衡</strong>——(a) 推理成本 ∝ 输出长度（长 CoT 意味着更多 token）；(b) 长 CoT 的延迟也更高（自回归生成是串行的）；(c) 故存在'准确率 vs 成本'的帕累托前沿；<strong>自适应推理</strong>（adaptive reasoning）是主要方向：(i) <strong>难度感知</strong>——简单问题用短推理、难题用长推理（用分类器或让模型自行判断）；(ii) <strong>预算控制</strong>——给模型'思考预算'（如最多 N token）；(iii) <strong>提前停止</strong>——当模型'确信'时停止思考；(iv) <strong>模型路由</strong>——简单问题用非推理模型、难题用推理模型。(d) 与'over-training 的经济学'类似，选择取决于<strong>请求量</strong>与<strong>质量要求</strong>。<strong>与训练侧的关系</strong>——训练时的'长度惩罚'与'目标长度'直接决定部署时的成本；故<strong>长度控制是训练的一部分</strong>（不能只在推理时控制）。

深度剖析与工程权衡：① <strong>'准确率与 token 成本必须联合报告'</strong>——推理模型的一个常见误导是'只报准确率'（而准确率是用 10 倍 token 换来的）；故规范做法是报告'准确率 + 平均输出 token 数'（或成本）。② <strong>'pass@k 与 pass@1 的差异'</strong>——推理模型常报告 pass@k（多次采样取最优），但<strong>部署时通常只能给一次答案</strong>（除非愿意付 k 倍成本）；故 pass@1 才是部署相关的指标。③ <strong>'自适应推理'是核心工程方向</strong>——因为'简单问题过度思考'既浪费成本又可能引入错误（想太多反而错）；故需要 (a) 难度感知、(b) 预算控制、(c) 提前停止。④ <strong>污染风险更高</strong>——推理基准（AIME 等）题目数量少、公开度高，故更容易被污染；且'训练时用大量合成数学题'可能无意中包含基准题目。故需严格检测。⑤ <strong>与'蒸馏'的关系</strong>——蒸馏得到的小推理模型通常输出更短（成本更低）但准确率略降；这是'成本-质量'的另一条曲线。⑥ <strong>面试要点</strong>——被问'如何评估推理模型'，应给出'<strong>多难度 + 多领域 + 防污染 + pass@1 + 准确率与 token 成本联合报告</strong>'，并说明'<strong>自适应推理（难度感知/预算控制/提前停止）</strong>'的方向；能指出'pass@k 不等于部署性能'是深度理解的标志。