M5-028M5: NLP 与大语言模型指令微调与 SFTHard
⚡闪卡盲测➔掌握度:
解释拒绝采样微调(RFT / STaR)的机制与作用。
🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
📐 核心数学机理公式
⚡ 一句话直击要害答案
用模型自己生成多个答案,按正确性/奖励筛选后做 SFT;迭代进行可自我提升,是可验证任务的标准做法。
📌 核心要点提炼
- •采样多个答案 → 筛选正确/高奖励 → SFT → 迭代
- •对可验证任务(数学/代码)质量可控
- •与 CoT 蒸馏、RLVR 同属'自提升'范式
📐 数学机理与严密推导
数学机理:RFT(Rejection sampling Fine-Tuning) 又名 STaR(Self-Taught Reasoner)、RAFT 等,流程为:(1) 采样——用当前模型对每个问题生成多个回答(如 16~64 个,含 CoT 步骤);(2) 筛选(rejection)——按验证器(对可验证任务:答案是否与标准答案一致;或单元测试是否通过)或奖励模型打分,只保留正确/高奖励的样本;(3) SFT——用筛选后的样本微调模型;(4) 迭代——用新模型重新采样,重复 (1)~(3)。为什么有效:(a) 扩大有效训练集——把'模型能解出但采样才得到'的问题变成训练数据(把'偶尔成功'转化为'稳定成功');(b) 过滤错误——只学正确轨迹,避免继承错误(这是相对 CoT 蒸馏的优势);(c) 自我提升——模型在自己能解的问题上变得更强,从而能解更多问题(迭代扩展能力边界);(d) 无需外部强教师(自蒸馏)。与 RLVR 的关系——RFT 用二值筛选(正确/错误)做监督学习(模仿正确轨迹);RLVR(GRPO 等)用连续奖励做策略梯度(奖励越高概率越大)。RFT 更简单稳定(像监督学习),RLVR 能利用'部分正确'的信号且可优化未通过验证的样本。实践中两者常组合——RFT 做冷启动(拿到第一批正确轨迹),RLVR 做后续优化。局限——(a) 只学'已能解出'的(无法超越当前能力边界,除非有更强的验证器或教师);(b) 多样性下降(反复筛选正确轨迹会使输出趋同);(c) 依赖可靠的验证器(对开放任务不可用)。
🏭 深度剖析与工业落地权衡
深度剖析与工程权衡:① '把偶尔成功变成稳定成功'是关键机制——采样 64 次可能得到几个正确答案,这些样本正是'模型能力边界附近'的宝贵监督信号(pass@64 高但 pass@1 低的问题);RFT 把它们转化为训练数据,直接提升 pass@1。② RFT vs RLVR 的选择——RFT 更简单(监督学习、稳定、无需策略梯度);RLVR 更强(能优化未通过验证的样本、利用部分奖励)但更复杂(需处理 KL、方差、不稳定)。实践中常'RFT 冷启动 + RLVR 精调'。③ '验证器'是前提——RFT/RLVR 都依赖可靠验证;对数学(对答案)、代码(跑测试)可行;对写作、开放推理不可行(需奖励模型,可靠性下降)。④ 迭代次数的收益递减——每次迭代都提升,但提升幅度递减(因为容易的问题已被'消化');且过度迭代会导致多样性崩塌(输出趋同)。⑤ 与'蒸馏'的关系——RFT 是'自蒸馏'(用自己筛选的样本);若有强教师,则用教师的正确轨迹(CoT 蒸馏)——两者可结合(先用教师数据冷启动,再用 RFT 迭代)。⑥ 面试要点——被问'如何让模型自己变强',应给出'RFT/STaR:采样 → 筛选 → SFT → 迭代'与'把偶尔成功转化为稳定成功'这一机制,并区分'RFT(监督、二值筛选)vs RLVR(策略梯度、连续奖励)';能指出'RFT 无法超越验证器/教师的上限'是深度理解的标志。
⚠️ 常见面试陷阱与高频失分点
- ✕以为 RFT 能突破当前能力上限(需更强验证器/教师)
- ✕无限迭代导致输出多样性崩塌
🎯 面试官连环追问与延伸考察
- ?RFT 与 RLVR 的区别?
- ?为什么 RFT 需要迭代?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!