MCTS 推理搜索

MCTS (Monte Carlo Tree Search, 蒙特卡洛树搜索) 把推理期生成过程组织为树搜索:节点 = 推理状态(已生成的中间步骤),边 = 下一步动作。循环四步:选择(按 UCT 公式 $UCT = \bar{v} + c\sqrt{\frac{\ln N}{n}}$ 选节点,平衡探索与利用)、扩展(生成新分支)、模拟(rollout 到叶子)、回溯(把叶子价值沿路径回传)。与 LLM 结合时,节点价值 $v$ 由过程奖励模型 (PRM) 的逐步评分提供,构成 Test-Time Search——AlphaGo 思路向 LLM 推理的迁移。

数学/博弈等可验证任务的推理增强、推理模型训练时搜索高质量轨迹(作为 RL 训练数据)、与过程奖励模型 (PRM) 结合做推理期树搜索。

自回归生成“一条路走到黑”,一步出错即无法回溯且错误会传播;MCTS 通过多路径探索 + 价值引导剪枝,在推理期寻找更优路径,显著提升困难任务的解出率。

检验攻克程度：针对「MCTS 推理搜索」专属刷题排雷

做单选排雷题、推导选项机制，答错自动收录进专属错题本。