JEPA 联合嵌入预测

JEPA (Joint Embedding Predictive Architecture, 联合嵌入预测架构) 在潜空间做预测式自监督学习:上下文编码器 $g$ 以当前潜表示 $z_t$ 与动作 $a_t$ 为输入, 预测目标表示 $f(z_{t+1})$, 目标编码器 $f$ 由 EMA (指数移动平均) 更新, 训练损失为: $$\ell = \lVert g(z_t, a_t) - f(z_{t+1}) \rVert^2$$ 即最小化预测表示与目标表示间的均方误差。EMA 目标 + 非对称结构 (梯度不回传到 $f$) 防止表示塌缩, 无需负样本即可学习。

图像/视频自监督表示学习 (I-JEPA、V-JEPA)、世界模型学习; 面试常以"JEPA 与 VAE/扩散重建有什么区别"切入考察。

VAE/扩散在像素空间重建, 大量算力花在不可预测的细节 (背景、纹理) 上; JEPA 只在抽象潜空间预测目标表示, 主动丢弃不可预测成分——计算开销更低, 学到的表示更语义化, 下游线性探针/少样本分类提升显著。

检验攻克程度：针对「JEPA 联合嵌入预测」专属刷题排雷

做单选排雷题、推导选项机制，答错自动收录进专属错题本。