4.2.1 成功：物体恒存与遮挡
V-JEPA 在物体恒存性上展现出稳健的扩展能力。该模型有效学会了物体在被遮挡时并不会消失。值得注意的是，对于发生在遮挡物后面的违反物理事件，V-JEPA 的表现与人类表现”高度相关”。这证实了基于掩码的预训练目标——预测被遮罩区域——是学习恒存性的直接代理任务。
4.2.2 失败：刚性与重力差距
该模型在刚性（物体相互穿透）和重力方面表现显著不足。在刚性上缺乏显著改进（）是一个关键发现。
- 洞察： 虽然 JEPA 捕捉到了物体的概念，但它可能无法捕捉到检测细微相互穿透所需的那种精确、严格的边界。与像素模型（可能看到纹理冲突）或物理引擎（计算顶点相交）不同，潜在空间预测器可能只是平滑地处理碰撞，将其解释为变形或遮挡事件。研究指出了帧率限制。
- 重力： 虽然后续迭代有所改进，但重力需要二阶导数：加速度。仅靠视觉观察，如果没有固定的参考系或本体感觉反馈，很难区分”下落”和”向下移动”。
4.3 IntPhys 2 的”随机水平”危机
尽管有所改进，但 IntPhys 2 基准的引入暴露了当前扩展规律的局限性。IntPhys 2 引入了更复杂的场景，涉及物体不变性和因果链。
- 观察： 在 IntPhys 2 上，V-JEPA 2 和其他最先进的视频模型的表现**“接近或等于随机水平”**，而人类基准仍保持在 85-95% 的准确率范围。
- 启示： 这种饱和表明，被动的视频观察，即使在 2200 万视频的规模下，也会达到因果推理的天花板。模型学会了相关性——什么通常跟随什么——但缺乏人类通过具身互动获得的那种因果反事实鲁棒性——什么不可能发生。
1. 核心瓶颈
从基本原理出发：
A. 目标设计：使 JEPA + Slots + 3D + 动力学兼容
- JEPA 希望学习一个嵌入空间，其中未来的潜在变量可以从上下文中预测出来，这通常鼓励对无关因素的不变性。
- 物体槽位需要一个满足以下条件的表征：
- 按物体分解
- 对物体状态变化（姿态、位置和遮挡）具有等变性
- 3D 几何希望表征在视角变化下保持一致，即相机姿态，这本身也是等变的。
- 动力学希望潜在变量在时间和动作作用下以结构化的方式变化。
瓶颈在于设计一个能量或对比度 JEPA 目标，使其能够同时：
- 保持槽位结构完整
- 保留 3D 几何信息
- 允许动力学模块预测未来
- 不会坍缩为琐碎的”一切都是一个团块”或”只有相机运动”的表征
这引出了两个问题：
- 如何在物体层面（槽位）和 3D 层面定义正负样本对？
- 如何避免 JEPA 学习到过于不变性（忽略细粒度物理特征）或过于纠缠（没有清晰的槽位）的表征？
目标设计是最大、最根本的科学瓶颈。