MPC 规划 (Model Predictive Control)

MPC (Model Predictive Control, 模型预测控制) 用已知或学到的环境模型,在每一步决策时对长度为 $H$ 的有限时域做规划,最大化累计回报:$$J = \sum_{k=0}^{H-1} \gamma^k \, r(s_k, a_k)$$其中 $s_{k+1} \sim P_\phi(\cdot | s_k, a_k)$ 由模型前向推出。规划器从当前状态 $s_0$ 搜索动作序列 $(a_0, \dots, a_{H-1})$,但只执行第一个动作,下个时刻重新规划——滚动时域 (receding horizon),每步都把新观测拉回真实轨迹,抵抗模型误差与扰动。

动作序列搜索: ① Random Shooting——从先验分布均匀采样 $K$ 条完整动作序列,按 $J$ 评估取最优;简单但样本利用率低;② CEM (Cross-Entropy Method)——迭代改进:采样 $K$ 条 → 按 $J$ 保留 top-$\rho$ 精英 → 用精英拟合高斯分布(更新均值/方差) → 再采样,迭代若干轮后用最优分布的中心动作开局,通常比 Random Shooting 用更少样本找到更好解。

连续控制(机器人、自动驾驶、无人机)、有廉价仿真器/已知动力学模型的任务;MPC 不训练策略网络,"规划即策略",可即席换奖励目标。

免去学策略所需的巨额采样,直接在线搜索最优动作;局限是受模型误差与有限时域 $H$ 影响,$H$ 太小只见局部、$H$ 太大误差累积,且每步规划的计算开销高。

写出 MPC 的规划目标,并解释滚动时域 (receding horizon) 的含义与作用。

Random Shooting 与 CEM 分别如何搜索动作序列?CEM 的迭代流程?

MPC 相比学习策略函数(如 PPO/SAC 学出的 π)有哪些优缺点?

模型误差与有限时域 H 如何影响 MPC?H 取太小会怎样?

MPC 在机器人/自动驾驶中的典型用法?(轨迹优化 + 闭环重规划)