过程奖励模型 PRM 与蒙特卡洛搜索

过程监督奖励模型 (Process Supervision Reward Model, PRM / OpenAI 提出) 与基于蒙特卡洛树搜索的细粒度信用分配体系 (PRM & Monte Carlo Tree Search for Step-Level Credit Assignment) 是在大模型多步逻辑推理中消除“过程胡扯但碰巧猜对答案”与“单步犯错全盘皆输”的核心前沿对齐技术；核心机制：1) ORM vs PRM：传统结果奖励模型 (Outcome-supervised Reward Model, ORM) 仅在整条链最终给出单个标量奖励，无法区分中间哪一步逻辑发生致命断裂；过程奖励模型 (PRM) 对推理链中的每一个独立中间步骤 (Step) 分别给出正确性奖励评估 $r(s_t) \in [0, 1]$；2) 弱监督 PRM 自动标注 (Math-Shepherd / RLHFlow): 从中间某个 Step 开始，利用策略模型发起 $K$ 次独立的蒙特卡洛随机展开 (Monte Carlo Rollouts)，若后续最终答对的概率显著高，则赋予该 Step 高过程分，彻底自动化了昂贵的逐步人工标注；3) 引导树搜索：在推理期直接作为 Value 评估网络引导 MCTS 剪枝。

复杂数学竞赛定理证明搜索、长推理链错误定位、强化学习细粒度信用分配 (Credit Assignment)。

结果奖励由于极度稀疏与延迟导致长链强化学习训练方差极大且极易产生虚假捷径学习；PRM 提供了高密度的单步强化信号与精准的剪枝引导。

详细对比结果监督 (Outcome Supervision, ORM) 与过程监督 (Process Supervision, PRM) 在抑制逻辑幻觉与防止“侥幸做对”上的数学机理？

Math-Shepherd 算法如何通过从中间步骤发起 $K$ 次 Monte Carlo Rollouts 自动化构建海量 PRM 训练数据集？

为什么在 Best-of-$N$ 搜索中，采用“每步 PRM 概率连乘积 $\prod_{t=1}^T P(\text{step}_t = \text{correct})$”对候选链打分显著优于仅使用链末尾分？

PRM 遭遇的对抗性攻击 (Adversarial Exploitation): 为什么当搜索宽度 $N$ 扩大至数千时，生成模型会学会生成欺骗 PRM 的看似专业假步骤？

在强化学习策略梯度中，如何利用 PRM 提供的单步稠密奖励替代传统 GAE 中的稀疏优势计算？