← 复习路线图

🎮 强化学习 思维导图

38 个知识点 · 点击节点弹出结构化卡片

同色 = 同一指南主题。悬停节点点亮依赖链,支持搜索与拖拽缩放。右上角可导出 PNG 或全屏查看。

RL 理论基础深度 RL 算法多臂老虎机 MABRLVR 可验证奖励Offline 分布偏移世界模型学习具身智能 V-JEPA/扩散策略(跨模块)GRPO 组相对优化(跨模块)思维链与推理(跨模块)MDP 与 Bellman 方程MDP 与 Bellman 方程点击查看定义和考点价值迭代 vs 策略迭代价值迭代 vs 策略迭代点击查看定义和考点蒙特卡洛 vs 时序差分蒙特卡洛 vs 时序差分点击查看定义和考点Q-Learning 离策略Q-Learning 离策略点击查看定义和考点探索-利用权衡探索-利用权衡点击查看定义和考点策略梯度 REINFORCE策略梯度 REINFORCE点击查看定义和考点TRPO 与 PPO 脉络TRPO 与 PPO 脉络点击查看定义和考点DQN 三件套DQN 三件套点击查看定义和考点Actor-Critic 框架Actor-Critic 框架点击查看定义和考点PPO 截断目标PPO 截断目标点击查看定义和考点SAC 最大熵SAC 最大熵点击查看定义和考点多智能体 CTDE/MAPPO多智能体 CTDE/MAPPO点击查看定义和考点多臂老虎机 MAB多臂老虎机 MAB点击查看定义和考点UCB1 乐观估计UCB1 乐观估计点击查看定义和考点Thompson 采样Thompson 采样点击查看定义和考点上下文老虎机上下文老虎机点击查看定义和考点Slate/组合老虎机Slate/组合老虎机点击查看定义和考点长效留存延迟奖励长效留存延迟奖励点击查看定义和考点RLVR 可验证奖励RLVR 可验证奖励点击查看定义和考点奖励设计与 Hacking奖励设计与 Hacking点击查看定义和考点过程奖励 PRM(跨模块)过程奖励 PRM(跨模块)点击查看定义和考点MCTS 规划(跨模块)MCTS 规划(跨模块)点击查看定义和考点Offline 分布偏移Offline 分布偏移点击查看定义和考点行为克隆 BC行为克隆 BC点击查看定义和考点GAIL 与逆向 RLGAIL 与逆向 RL点击查看定义和考点CQL 保守 Q 学习CQL 保守 Q 学习点击查看定义和考点IQL expectile 回归IQL expectile 回归点击查看定义和考点离线到在线微调离线到在线微调点击查看定义和考点世界模型学习世界模型学习点击查看定义和考点Dyna 架构Dyna 架构点击查看定义和考点MPC 规划MPC 规划点击查看定义和考点MuZero 潜在模型MuZero 潜在模型点击查看定义和考点Dreamer RSSMDreamer RSSM点击查看定义和考点基于模型 vs 无模型基于模型 vs 无模型点击查看定义和考点具身智能 V-JEPA/扩散策略(跨模块)具身智能 V-JEPA/扩散策略(跨模块)点击查看定义和考点GRPO 组相对优化(跨模块)GRPO 组相对优化(跨模块)点击查看定义和考点DPO 偏好对齐(跨模块)DPO 偏好对齐(跨模块)点击查看定义和考点思维链与推理(跨模块)思维链与推理(跨模块)点击查看定义和考点
100%
🖱️ 可拖拽平移画布 · 悬停点亮知识依赖链 · 点击打开知识卡
MDP 与 Bellman 方程多臂老虎机 MABRLVR 可验证奖励Offline 分布偏移世界模型学习具身智能 V-JEPA/扩散策略(跨模块)GRPO 组相对优化(跨模块)思维链与推理(跨模块)