离线到在线微调

离线到在线微调 (Offline-to-Online RL) 指先用固定离线数据训练保守策略,再与环境交互继续优化;两大关键机制: (1) 保守惩罚退火 (Conservatism Annealing)——逐步降低离线阶段的保守系数 (如 CQL 的 $\alpha$ 退火到 0),避免『保守惯性』压住在线探索; (2) 回放混合 (Replay Mixing)——在线新数据与离线旧数据按比例混合采样回放,以旧数据为锚,防止分布偏移回潮、保持训练稳定。

先冷启动后可持续交互的系统——推荐/广告先用日志预训练再上线自适应、机器人先仿真或历史轨迹再真机部署、LLM 对齐流水线。

解决纯离线策略直接上线的两大问题——保守正则残留导致的次优 (需在环境信号下逐步松绑) 与探索初期策略崩溃风险 (旧数据回放做安全锚点);并天然衔接 RLHF: RLHF 第一步收集的 SFT/偏好数据就是离线数据集,PPO/GRPO 从参考策略出发、用 KL 约束锚定分布,正是『从离线数据出发到在线优化』在 LLM 中的体现。

检验攻克程度：针对「离线到在线微调」专属刷题排雷

做单选排雷题、推导选项机制，答错自动收录进专属错题本。