SAC 最大熵

SAC (Soft Actor-Critic, 软演员-评论家) 是最大熵离策略 Actor-Critic 算法,目标在累积回报外加入策略熵正则:

推导链: 1. 软策略评估:熵奖励使 Bellman 目标变为 $y = r + \gamma\left(Q_{\theta^-}(s',a') - \alpha\log\pi_\phi(a'|s')\right)$,$a'\sim\pi_\phi$(价值中减去熵项);Critic 最小化 $L(\theta_i) = \mathbb{E}[(y - Q_{\theta_i}(s,a))^2]$; 2. 软策略改进:求解 $\pi_{new} = \arg\max_\pi \mathbb{E}_{a\sim\pi}[Q^{\pi_{old}}(s,a)] + \alpha\mathcal{H}(\pi(\cdot|s))$,闭式解为玻尔兹曼策略 $\pi^*(a|s) \propto \exp(Q(s,a)/\alpha)$(按价值指数的 softmax 采样,温度 $\alpha$ 控制随机性);实践中用重参数化高斯 $a = \mu_\phi(s) + \sigma_\phi(s)\odot\epsilon$ 可微采样,最小化 $J(\phi) = \mathbb{E}_{\epsilon}[-Q(s,\tilde{a}) + \alpha\log\pi_\phi(\tilde{a}|s)]$; 3. 双 Q 取 min:两个 Critic 独立回归同一目标,目标值取 $\min_i Q_{\theta_i^-}(s',a')$ 抑制 max 高估(比 Double DQN 更直接的离策略解法); 4. 自动温度:把 $\alpha$ 视为约束 $\mathcal{H}(\pi) \ge \mathcal{H}_{target}$ 的对偶变量,损失 $J(\alpha) = \mathbb{E}_{a\sim\pi}[-\alpha\log\pi(a|s) - \alpha\mathcal{H}_{target}]$,梯度 $\nabla_\alpha J = -\mathbb{E}[\log\pi(a|s) + \mathcal{H}_{target}]$:实测熵低于目标时 $-\log\pi > \mathcal{H}_{target}$,$\nabla_\alpha J < 0$ → $\alpha$ 增大(加强探索);熵过高则 $\alpha$ 减小。

连续动作控制(机器人、模拟器)的事实 SOTA 基线;需要随机策略(多峰最优动作)、样本效率要求高的场景。

确定性策略梯度(DDPG/TD3)易陷局部最优、对超参敏感。SAC 的熵正则鼓励探索、天然抗局部最优与多峰动作,离策略 + 回放带来样本效率,双 Q 与自动温度让训练鲁棒,是连续控制领域的默认选择。

检验攻克程度：针对「SAC 最大熵」专属刷题排雷

做单选排雷题、推导选项机制，答错自动收录进专属错题本。