行为克隆 BC

行为克隆 (Behavioral Cloning, BC) 是最直接的模仿学习:把专家轨迹当有标签数据,对 $(s,a)$ 对做监督学习,最小化 $\min_\pi \mathbb{E}_{(s,a) \sim \pi_E}[-\log \pi(a|s)]$,即最大似然拟合专家策略。

有高质量专家演示、奖励难设计时的快速起点——自动驾驶数据驱动、机器人遥操作示教;LLM 的 SFT (监督微调) 本质就是 BC。

简单直接,但有两个致命局限: (1) 复合误差 (Compounding Error)——若每步独立犯错概率为 $\epsilon$,偏差沿轨迹累积:第 $t$ 步期望偏移约 $\mathcal{O}(t\epsilon)$,总回报损失 $\sum_{t=1}^{T} \mathcal{O}(t\epsilon) = \mathcal{O}(T^2 \epsilon)$ 随时间平方放大;更糟的是训练只见到专家分布内的状态 (i.i.d. 假设),部署时却要处理自己犯错导致的偏移状态分布 (协变量偏移); (2) 因果混淆 (Causal Confusion)——模型学到的可能是『结果』而非『原因』,如自动驾驶 BC 学会用自车横向偏移量 (自身转向动作的后果) 来修正方向,训练分布里专家总能纠正,部署时反馈环路失效、表现断崖下跌。

检验攻克程度：针对「行为克隆 BC」专属刷题排雷

做单选排雷题、推导选项机制，答错自动收录进专属错题本。