Research Notes

JEPA 物理阅读清单

7 min read

目标：快速建立一条最小路径，从能量模型到 JEPA，再到光学、光谱、断裂动力学里的潜在轨迹建模。

核心想法：

观测 x = 光谱、图像、视频或实验轨迹
假设 y = 材料类别、隐藏物理状态、未来轨迹或实验条件
能量 E(x, y) = 二者是否物理兼容的分数

低能量表示“合理”，高能量表示“不合理”。对物理问题，优先在潜在轨迹上建模，不要一开始就在原始像素或原始光谱上做重型 EBM。

一周起步顺序

  1. LeCun 2006：EBM 基础
  2. LeCun 2022：JEPA 世界观
  3. I-JEPA：图像版最小结构
  4. V-JEPA：视频和时间结构
  5. V-JEPA 2：预测、动作条件和规划
  6. LeJEPA：更少启发式的稳定训练
  7. EB-JEPA：直接看代码和小实验
  8. Lens-JEPA：物理约束怎么接入 JEPA
  9. JEM：分类器也可以看成能量模型

核心论文

1. LeCun et al. 2006 — A Tutorial on Energy-Based Learning

链接：PDF，备用 PDF

讲什么：EBM 的基本语言。模型不必输出归一化概率，只要给兼容的 (x, y) 低能量，给不兼容的 (x, y) 高能量。

要带走：

  • 能量是标量兼容分数。
  • 推理可以看成寻找低能量解释。
  • 对比损失、margin loss、结构化预测都可以用这个框架理解。
  • 物理任务里可以写成 E(观测轨迹, 材料/隐藏状态/约束假设)。

2. LeCun 2022 — A Path Towards Autonomous Machine Intelligence

链接：OpenReview

讲什么：JEPA、H-JEPA、潜变量 EBM 和世界模型的总框架。它不是教程，更像研究地图。

要带走：

  • 不要预测像素，预测表示空间里的未来。
  • 好的世界模型需要抽象潜变量。
  • 规划可以变成在潜在空间里找低能量路径。
  • 对光谱和断裂轨迹，重点是学习可预测的 latent state。

3. Assran et al. 2023 — I-JEPA

链接：arXiv，代码

讲什么：最干净的 JEPA 实作模板：context encoder 看到部分内容，target encoder 编码目标块，predictor 在 latent space 预测目标表示。

要带走：

  • 目标块要足够语义化，不要太碎。
  • context 要信息充足但不完整。
  • 损失是 latent mismatch，不需要像素解码器。
  • 光谱版本可以把 context 设成可见时间窗或波段，把 target 设成遮住的未来窗。

4. Bardes et al. 2024 — V-JEPA

链接：arXiv，代码

讲什么：把 JEPA 从图像扩展到视频。对物理轨迹更重要，因为光谱和断裂过程本质上是时间序列。

要带走：

  • 用时空 mask 学动态表示。
  • 预测抽象特征，不预测像素。
  • 学到的表示可以下游冻结使用。
  • 光谱版本可以把视频时空 mask 改成时间-波段 mask。

5. Assran et al. 2025 — V-JEPA 2

链接：arXiv，代码，模型

讲什么：把视频 JEPA 推到世界模型方向：未来 latent 预测、动作条件、目标导向规划。

要带走：

  • state 可以是 latent spectral trajectory。
  • action 可以是激光参数、材料干预或实验设置。
  • goal 可以是预期轨迹或目标物理状态。
  • 规划可以看成搜索低 latent distance 或低能量路径。

6. Balestriero & LeCun 2025 — LeJEPA

链接：arXiv，代码

讲什么：更原则化的 JEPA 训练路线，减少对 teacher-student、stop-gradient 和经验 trick 的依赖。

要带走：

  • JEPA 的核心风险是 embedding collapse。
  • SIGReg 用分布几何约束保持表示展开。
  • 对小型原型很有用，因为训练稳定性比规模更重要。
  • 如果训练崩掉，先看 latent 分布，而不是先加复杂模型。

7. Terver et al. 2026 — EB-JEPA

链接：arXiv，代码

讲什么：面向实现的轻量 JEPA / EBM 库，有图像、视频、动作条件世界模型示例。

要带走：

  • 这是最适合开小原型的入口。
  • 先跑小例子，再改输入模态。
  • 把 image/video input 换成 spectral/time trajectory。
  • 把 action-conditioned world model 换成材料、激光、波段、延迟时间等条件。

8. Rishi et al. 2025 — Lens-JEPA

链接：NeurIPS ML4PS PDF

讲什么：把物理知识塞进 JEPA 的科学影像例子。论文用引力透镜方程引导 encoder。

要带走：

  • 物理信息可以进 encoder，而不只是进 loss。
  • 标准 JEPA 可以改成 physics-informed JEPA。
  • 对光学和断裂，可以把透镜方程换成已知的光谱动力学、发射比、延迟时间或材料约束。
  • 评估要看下游物理任务，不只是表示学习指标。

9. Grathwohl et al. 2020 — Your Classifier is Secretly an Energy Based Model

链接：arXiv

讲什么：普通分类器也能解释成 class-conditional energy model，也就是 JEM。

要带走：

  • softmax(class | x) 可以改看成 E(x, class)。
  • 对材料识别，可以比较：
E(trajectory, HDPE)
E(trajectory, LDPE)
E(trajectory, PET)
E(trajectory, unknown)
  • 这对 OOD、未知材料、置信度和异常轨迹很有用。