M5-061M5: NLP 与大语言模型GRPO 与推理模型Hard
⚡闪卡盲测➔掌握度:

解释零 RL / RLVR 的 cold start 问题。

🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
下一题: M5-062 →
📐 核心数学机理公式
cold start: base model→RL ⇒ format collapse, language mixing;fix: SFT warmup\text{cold start}:\ \text{base model}\to\text{RL}\ \Rightarrow\ \text{format collapse},\ \text{language mixing};\qquad \text{fix}:\ \text{SFT warmup}
⚡ 一句话直击要害答案
从纯基座做 RL 可能输出格式混乱、语言混杂、可读性差;冷启动 SFT 或格式奖励可稳定起始阶段。

📌 核心要点提炼

  • •
    纯 RL 从基座开始:输出格式混乱、语言混杂、可读性差
  • •
    冷启动 SFT(少量长 CoT 数据)可稳定起始阶段
  • •
    或加'格式奖励'(要求特定输出格式)

📐 数学机理与严密推导

数学机理:cold start 问题——若直接从纯基座模型(未经 SFT)开始 RLVR,会观察到若干退化现象:(a) 格式混乱——输出没有清晰结构(不分步骤、不区分思考与答案);(b) 语言混杂——中英文夹杂(因为基座模型的多语言能力未被约束);(c) 可读性差——推理过程难以理解(跳跃、省略);(d) 奖励提取困难——因为答案没有明确标记,验证器难以提取答案(导致奖励信号错误)。成因——基座模型只学过'续写',没有'按指令组织回答'的能力;RL 虽有正确性奖励,但格式与可读性没有奖励信号(除非显式设计),故模型会'用最省力的方式'追求正确性(可能输出混乱但答案对)。解决方案:(1) 冷启动 SFT(cold-start SFT)——用少量(数百到数千条)高质量的长 CoT 数据做 SFT,教模型'如何组织推理'(格式、步骤、语言);这为 RL 提供了'格式正确的起点'(DeepSeek-R1 用了约数千条冷启动数据)。(2) 格式奖励——在奖励中加入'是否遵循格式'(如'把答案放在 \boxed{} 中'、'用与问题相同的语言');这使 RL 能自己学会格式。(3) 混合奖励——正确性奖励 + 格式奖励 + 语言一致性奖励。实证——DeepSeek-R1 报告:纯 RL(无冷启动) 也能提升推理能力,但输出可读性差、语言混杂;加冷启动 SFT 后(R1 的正式版本)输出清晰可读且性能更好。故'冷启动 + RL'是推荐配方。与'涌现'的关系——cold start 的存在不否定'长 CoT 可涌现'(纯 RL 也能学到推理),而是说明'可读性与格式需要额外引导'。冷启动数据量——通常很少(数千条);关键是格式示范而非知识注入。

🏭 深度剖析与工业落地权衡

深度剖析与工程权衡:① '冷启动只需少量数据'是关键——它的作用是'示范格式'而非'教推理'(推理由 RL 学);故数千条足够。这与'SFT 数据要少而精'的原则一致。② '格式奖励'的工程价值——它是'让 RL 自己学会格式'的替代方案(无需 SFT);但对复杂格式(多步骤、结构化输出)可能不如 SFT 示范有效。③ '语言一致性'的实际问题——多语言模型在 RL 后可能出现'语言混杂'(中英夹杂),影响用户体验;故常加'语言一致性奖励'(要求用 prompt 的语言回答)。④ '奖励提取'的工程细节——若输出格式不固定,验证器难以可靠提取答案(可能把'思考中的中间结果'当成答案);故格式约束(如 \boxed{})是 RLVR 的工程前提(与约束解码相关)。⑤ 与'蒸馏'的关系——冷启动数据常来自'更强的模型'(如用 R1 的输出去教小模型);故冷启动与蒸馏在数据层面相通。⑥ 面试要点——被问'纯 RL 从基座开始行不行',应给出'能提升推理但输出可读性差、语言混杂 → 需冷启动 SFT 或格式奖励',并说明'冷启动只需少量数据(教格式而非教推理)'与'格式约束是奖励提取的前提';能指出'纯 RL 不否定涌现、只说明格式需引导'是深度理解的标志。
⚠️ 常见面试陷阱与高频失分点
  • ✕
    以为纯 RL 从基座开始就能得到可读的输出
  • ✕
    冷启动用大量数据(应少量精标)
🎯 面试官连环追问与延伸考察
  • ?
    为什么纯 RL 会出现'语言混杂'?
  • ?
    冷启动 SFT 数据需要多少?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
📚

关联知识库专题与交互式导图

← 上一题M5-060: 解释 GRPO 的 group size 与采样效率。📋 返回题库下一题 →M5-062: 解释长 CoT 的长度控制与长度惩罚。