GAIL 与逆向 RL

逆向强化学习 (Inverse RL, IRL) 从专家轨迹中反推奖励函数;GAIL (Generative Adversarial Imitation Learning, 生成对抗模仿学习) 将对抗训练与最大熵 IRL 结合,直接学策略: $\min_\pi \max_D \mathbb{E}_{\pi_E}[\log D(s,a)] + \mathbb{E}_\pi[\log(1-D(s,a))] - \lambda \mathcal{H}(\pi)$——判别器 $D$ 区分专家与策略的状态-动作对,策略通过最大化『骗过 D』逐步逼近专家分布,熵项 $\mathcal{H}(\pi)$ 防止策略坍缩。

奖励难以人工设计但演示数据充足的场景——机器人示教、自动驾驶、游戏;学到的隐式奖励还可用于行为解释与跨任务迁移。

从『被动拟合专家动作』(BC) 升级为『主动匹配专家轨迹分布』:每一步都有判别器提供的密集对抗信号,误差不会像 BC 那样累积成 $\mathcal{O}(T^2)$ 复合误差;而最大熵 IRL 假设专家轨迹概率 $p(\tau) \propto \exp(R(\tau))$——轨迹奖励越高被专家选取的概率指数越大——既给出了奖励估计的合理解空间,又避免了平凡解 (如恒定奖励) 与 IRL 的多解性问题。

检验攻克程度：针对「GAIL 与逆向 RL」专属刷题排雷

做单选排雷题、推导选项机制，答错自动收录进专属错题本。