MPC 规划 (Model Predictive Control)

MPC (Model Predictive Control, 模型预测控制) 用已知或学到的环境模型,在每一步决策时对长度为 $H$ 的有限时域做规划,最大化累计回报:$$J = \sum_{k=0}^{H-1} \gamma^k \, r(s_k, a_k)$$其中 $s_{k+1} \sim P_\phi(\cdot | s_k, a_k)$ 由模型前向推出。规划器从当前状态 $s_0$ 搜索动作序列 $(a_0, \dots, a_{H-1})$,但只执行第一个动作,下个时刻重新规划——滚动时域 (receding horizon),每步都把新观测拉回真实轨迹,抵抗模型误差与扰动。

动作序列搜索: ① Random Shooting——从先验分布均匀采样 $K$ 条完整动作序列,按 $J$ 评估取最优;简单但样本利用率低;② CEM (Cross-Entropy Method)——迭代改进:采样 $K$ 条 → 按 $J$ 保留 top-$\rho$ 精英 → 用精英拟合高斯分布(更新均值/方差) → 再采样,迭代若干轮后用最优分布的中心动作开局,通常比 Random Shooting 用更少样本找到更好解。

连续控制(机器人、自动驾驶、无人机)、有廉价仿真器/已知动力学模型的任务;MPC 不训练策略网络,"规划即策略",可即席换奖励目标。

免去学策略所需的巨额采样,直接在线搜索最优动作;局限是受模型误差与有限时域 $H$ 影响,$H$ 太小只见局部、$H$ 太大误差累积,且每步规划的计算开销高。

检验攻克程度：针对「MPC 规划 (Model Predictive Control)」专属刷题排雷

做单选排雷题、推导选项机制，答错自动收录进专属错题本。