DQN 三件套

DQN (Deep Q-Network) 用深度网络 $Q_\theta(s,a)$ 逼近最优动作价值,对固定的 TD 目标做最小二乘回归:

推导链: 1. Bellman 最优方程给出 TD 目标 $y = r + \gamma \max_{a'} Q_{\theta^-}(s',a')$:目标网络 $\theta^-$(每 $C$ 步硬拷贝或 Polyak 加权平均 $\theta^- \leftarrow \tau\theta + (1-\tau)\theta^-$)把自举回归变成对固定常数的回归,消除“目标随自身一起漂移”的振荡; 2. 对 $\theta$ 求梯度:$\nabla_\theta L = -2\mathbb{E}[(y - Q_\theta(s,a))\nabla_\theta Q_\theta(s,a)]$,目标 $y$ 不参与反传; 3. 经验回放 $\mathcal{D}$:按 $(s,a,r,s')$ 存储、均匀随机抽样,打破相邻样本的强时间相关性,并支持样本复用与稳定批训练; 4. 双 DQN 高估修正:$\max$ 算子带来正偏差——$\mathbb{E}[\max X_i] \ge \max \mathbb{E}[X_i]$(max 为凸函数,由 Jensen 不等式),噪声 + 自举使误差层层放大,高估的坏动作被不断选中。Double DQN 把动作选择与价值评估解耦:$y = r + \gamma Q_{\theta^-}(s', \arg\max_{a'} Q_\theta(s', a'))$ —— 在线网络选动作、目标网络打分,显著压低高估。

离散动作空间(游戏、推荐候选排序、组合动作);深度 RL 的奠基算法。

状态连续/高维,无法查表。三件套对应深度学习的三大敌人:回放破相关、目标网络稳目标、Double-DQN 去 max 高估;后续改进(优先回放、dueling、n-step、C51、Rainbow)都沿这一脉络叠加。

检验攻克程度：针对「DQN 三件套」专属刷题排雷

做单选排雷题、推导选项机制，答错自动收录进专属错题本。