M5-119M5: NLP 与大语言模型推理时计算Medium
⚡闪卡盲测➔掌握度:
解释过程奖励模型(PRM)与结果奖励模型(ORM)。
🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
📐 核心数学机理公式
⚡ 一句话直击要害答案
ORM 只评最终结果(易标、信号粗);PRM 评每步(信用分配细、可引导搜索,但标注贵)。
📌 核心要点提炼
- •ORM:只评最终答案(标注简单、信号粗)
- •PRM:评每步(信用分配细、可引导搜索、标注贵)
- •PRM 在'搜索'中比在'RL 奖励'中更有价值
📐 数学机理与严密推导
数学机理:两类奖励模型。ORM(Outcome Reward Model)——只对最终结果打分:V(x, y)(y 是完整回答)。优点:(a) 标注简单(只需判断最终答案对错);(b) 信号明确(与真实目标对齐);(c) 可程序验证(对可验证任务,ORM 就是验证器)。缺点:(a) 信用分配粗——不知道'哪一步错了';(b) 无法区分'推理正确但答案错(笔误)'与'推理错误但蒙对';(c) 无法引导搜索(搜索需要评估中间状态)。PRM(Process Reward Model)——对每个推理步骤打分:V(x, s_1, …, s_k)(逐步评分)。优点:(a) 细粒度信用分配(能定位错误步骤);(b) 可引导搜索(在树搜索/束搜索中用 PRM 评估中间节点、优先扩展高分分支);(c) 能识别'蒙对'(推理错但答案对)。缺点:(a) 标注成本高——需逐步判断(比只标最终答案贵得多、更主观);(b) 步骤定义不唯一(切分方式影响标注);(c) 可能被钻空子——在 RL 中,模型可能学会'写看起来合理的步骤'(而非真正正确)。PRM 的标注方法——(1) 人工标注(最准但最贵);(2) 蒙特卡洛估计(自动)——对某个中间状态,从它出发多次采样到最终答案,用'最终正确率'作为该步骤的质量估计;无需人工但计算昂贵(每步多次采样);(3) 用强模型标注(RLAIF 风格);(4) 从最终答案反推(只标注'通向正确答案的步骤')。使用场景的差异(重要)——(a) 在搜索中(推理时)——PRM 价值大(能提前发现错误路径、剪枝);(b) 在 RL 奖励中——PRM 的收益不如搜索中明显,且更易被钻空子(模型学会'写好看的步骤');故实践中'RL 用 ORM/程序验证为主,PRM 用于搜索'。组合——(a) PRM + ORM(过程分 + 结果分加权);(b) PRM 做搜索、ORM 做最终选择。实证——'Let's Verify Step by Step'(OpenAI)显示 PRM 在数学搜索中显著优于 ORM;但 PRM 的标注成本是其应用的主要障碍。与'可验证奖励'的关系——对可验证任务,ORM 就是程序验证(免费精确);PRM 是'更细但更贵'的补充(用于'结果不可验证但过程可判断'的任务,或用于提升搜索效率)。
🏭 深度剖析与工业落地权衡
深度剖析与工程权衡:① 'PRM 在搜索中比在 RL 中更有价值'是重要实践观察——面试中能指出这一点(而非'PRM 全面优于 ORM')是深度理解的标志。② '蒙特卡洛自动标注'是降低 PRM 成本的关键——它用'从该步出发的最终正确率'作为该步质量的代理;代价是计算量(每步多次采样),但省去人工。这是'用算力换标注'的典型。③ '蒙对'问题的解决——ORM 无法区分'推理对答案对'与'推理错答案对';PRM 可以;这对'训练可靠推理'很重要(避免模型学会'猜')。④ '步骤切分'的工程影响——推理步骤的边界不唯一(一行一步?一段一步?);这影响 PRM 的输入格式与标注一致性;实践中常用'换行'或'句号'作为切分。⑤ '与可验证任务的优先级'——对数学/代码,程序验证(ORM)免费且精确,应优先;PRM 只在'需要引导搜索'或'结果不可验证'时使用。⑥ 面试要点——被问'PRM 与 ORM 的区别',应给出'评估粒度(最终 vs 每步)+ 标注成本 + 信用分配 + 搜索引导能力'与'PRM 在搜索中更有价值、在 RL 中易被钻空子',并提到'蒙特卡洛自动标注';这是推理时计算类问题的高分回答。
⚠️ 常见面试陷阱与高频失分点
- ✕在 RL 奖励中用 PRM(易被钻空子)
- ✕对可验证任务用 PRM 而非程序验证(浪费标注)
🎯 面试官连环追问与延伸考察
- ?PRM 的标注成本如何降低?
- ?为什么 PRM 在 RL 中可能被钻空子?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!