RLVR 可验证奖励

RLVR (Reinforcement Learning from Verifiable Rewards, 可验证奖励强化学习) 用程序/规则可自动判定的信号作为奖励,替代人工或 AI 奖励模型:数学任务用答案精确匹配 (解析为规范形式后比较);代码任务用单元测试,奖励取 $pass@k$——采样 $k$ 个程序、至少一个通过全部测试的概率;逻辑/多选任务用标准答案比对。这类奖励零标注成本、无打分模型偏差,且验证器是确定性的、不存在可被 exploit 的漏洞,因此"不可被黑客攻击" (unhackable)。

与 GRPO 的组合: RLVR 与 GRPO 是天然配对——对每个提示 $q$ 采样 $G$ 个回答 $\{o_1, \dots, o_G\}$,验证器逐回答打分 $r_i$,组内归一化得到 Advantage $A_i = \frac{r_i - \text{mean}(r_1, \dots, r_G)}{\text{std}(r_1, \dots, r_G)}$ 后再做截断策略更新,全程无需奖励模型与 Critic;DeepSeek-R1 正是 "RLVR + GRPO" 的标准化范式。

数学、代码、逻辑等存在 ground-truth 验证的任务;作为 o1/R1 类推理模型后训练的主奖励源,常与过程奖励 (PRM) 互补——RLVR 给终局结果,PRM 给逐步信号。

RLHF 奖励模型训练成本高、打分有噪声且会被 hacking;RLVR 提供零成本、无偏、确定性的奖励信号,使大规模推理强化成为可能;局限是需要可验证的任务——开放式生成任务仍需奖励模型或 PRM 辅助。

检验攻克程度：针对「RLVR 可验证奖励」专属刷题排雷

做单选排雷题、推导选项机制，答错自动收录进专属错题本。