DQN 三件套

DQN (Deep Q-Network) 用深度网络 $Q_\theta(s,a)$ 逼近最优动作价值,对固定的 TD 目标做最小二乘回归:

推导链: 1. Bellman 最优方程给出 TD 目标 $y = r + \gamma \max_{a'} Q_{\theta^-}(s',a')$:目标网络 $\theta^-$(每 $C$ 步硬拷贝或 Polyak 加权平均 $\theta^- \leftarrow \tau\theta + (1-\tau)\theta^-$)把自举回归变成对固定常数的回归,消除“目标随自身一起漂移”的振荡; 2. 对 $\theta$ 求梯度:$\nabla_\theta L = -2\mathbb{E}[(y - Q_\theta(s,a))\nabla_\theta Q_\theta(s,a)]$,目标 $y$ 不参与反传; 3. 经验回放 $\mathcal{D}$:按 $(s,a,r,s')$ 存储、均匀随机抽样,打破相邻样本的强时间相关性,并支持样本复用与稳定批训练; 4. 双 DQN 高估修正:$\max$ 算子带来正偏差——$\mathbb{E}[\max X_i] \ge \max \mathbb{E}[X_i]$(max 为凸函数,由 Jensen 不等式),噪声 + 自举使误差层层放大,高估的坏动作被不断选中。Double DQN 把动作选择与价值评估解耦:$y = r + \gamma Q_{\theta^-}(s', \arg\max_{a'} Q_\theta(s', a'))$ —— 在线网络选动作、目标网络打分,显著压低高估。

离散动作空间(游戏、推荐候选排序、组合动作);深度 RL 的奠基算法。

状态连续/高维,无法查表。三件套对应深度学习的三大敌人:回放破相关、目标网络稳目标、Double-DQN 去 max 高估;后续改进(优先回放、dueling、n-step、C51、Rainbow)都沿这一脉络叠加。

写出 DQN 损失 L=E[(r+γ max Q_{θ⁻}(s',a') − Q_θ(s,a))²],说明目标网络的作用与更新方式?

白板手推: 用 Jensen 不等式证明 max 算子带来高估 E[max X] ≥ max E[X],并推导 Double DQN 的解耦目标?

经验回放解决什么问题?均匀采样有何局限,优先级回放如何改进?

DQN 三件套: 回放、目标网络、Double-DQN 各解决哪个问题?还有哪些改进?

为什么 TD 目标必须固定?目标网络更新太频繁或太慢各有什么后果?