Dreamer 4 即捷径规划

1. 算法效率：“捷径”启发式

课程概念： 迭代算法、近似与时间复杂度。 趋势： 扩散蒸馏，加速生成式 AI。

洞见： 论文中描述的”捷径模型”本质上是一种数值积分的算法优化。
深入分析：
- 标准方法： 流匹配（Flow matching）与扩散模型类似，通过求解常微分方程（ODE）来生成数据。这通常需要 $K$ 步，例如 $K = 100$ ，时间复杂度为 $O (K \cdot C_{n e t})$ ，其中 $C_{n e t}$ 是神经网络的成本。这对于实时交互来说太慢了。
- Dreamer 4 的创新： 它引入了一种”捷径强制”（Shortcut Forcing）目标函数。该算法允许模型在单次前向传播中预测多个积分步骤的结果。
- 复杂度论证： 它将生成的时间复杂度从 $O (K)$ 降低到 $O (1)$ ，或一个非常小的常数（如 2-4 步），而不改变底层的”数据结构”：神经网络的权重。
- 批判性思考： 这可以理解为时间与精度的权衡。论文提出的算法通过自举（bootstrapping）在训练期间动态调整步长 $d$ ，使智能体在推理时能够自行选择精度。

Dreamer 4 学习了一个近似的马尔可夫决策过程（MDP）。用算法的术语来说，这是一个概率性的连续状态空间图，其中世界模型扮演着转移预言机（transition oracle）的角色。

课程概念： 树搜索、启发式方法与前瞻。 趋势： 推理时计算，如 OpenAI o1/Strawberry。

洞见： Dreamer 4 执行的是”训练时搜索”而非”推理时搜索”。
深入分析：
- 当前趋势（o1/Strawberry）： 在推理时投入更多计算资源，通过在行动前搜索决策树来进行”思考”。
- Dreamer 4 的方法： 它通过在世界模型内部进行离线模拟或想象来完成”思考”，从而更新策略网络。在推理时，策略的时间复杂度为 $O (1)$ ：它基于”肌肉记忆”立即行动。
- 对比： 这形成了在线规划（如 MCTS，运行时成本高昂）与摊销推理（Dreamer 4，训练时成本高昂但运行时廉价）之间的对比。
- 批判性分析： 对于 Minecraft 这类对实时低延迟有要求的场景，摊销推理更优。对于国际象棋或数学这类需要高精度且时间充裕的场景，在线搜索更优。

课程概念： 贪心算法、排序/选择与优化景观。 趋势： 基于人类反馈的强化学习（RLHF）与直接偏好优化（DPO）。

洞见： 论文从复杂的贝尔曼更新（传统强化学习）转向了一种选择/分类算法（PMPO）。
深入分析：
- 算法： PMPO 不再计算值函数的复杂梯度，而是简化问题：
  1. 生成一批想象的轨迹。
  2. 基于是否达成目标对其进行排序或筛选，使用二分类或排序方法。
  3. 将”获胜”的轨迹作为监督学习的目标。
- 联系： 这将强化学习问题——在具有延迟奖励的图中寻找最优路径——转化为一个监督分类问题：模式匹配。
- 现代趋势： 这与”RvS”（通过监督学习进行强化学习）趋势一致，表明如果数据结构（即世界模型）足够好，控制算法可以很简单：复制最佳的想象路径。

概率：35%。最有可能给复杂度理论家留下深刻印象。

洞见： Dreamer 4 中的”捷径强制”机制在结构上等同于指针跳跃（Pointer Jumping，或称路径倍增 Path Doubling），这是并行算法中用于在 $O (lo g N)$ 时间内解决列表排名或连通分量问题的一种技术。
算法分析：
- 标准模拟： 模拟物理通常是一个顺序链表的遍历： $S_{t + 1} = f (S_{t})$ 。要到达第 $T$ 步，需要 $O (T)$ 个顺序操作。
- Dreamer 4 的捷径： 模型学习了一个函数，可以一次跳跃 $k$ 步： $S_{t + k} \approx F (S_{t})$ 。通过链接这些跳跃，它减少了顺序依赖的深度。
- 课程联系： 这将模拟从严格的顺序问题（P-完全） 转化为可并行化的问题（NC 类）。它有效地展开了物理循环，使智能体能够在状态空间图中跳跃移动，而非逐边行走。

在标准算法课程中，朴素地处理一个 $N \times N$ 的矩阵需要 $O (N^{2})$ 时间。

基线算法： 标准 Transformer（世界模型）将视频处理为长序列 token。如果有 $T$ 帧且每帧有 $S$ 个像素，序列长度为 $L = T \times S$ 。
- 标准注意力复杂度： $O (L^{2}) = O (T^{2} \cdot S^{2})$ 。
- 这是一个二次复杂度算法。
Dreamer 4 的算法： 论文将其替换为分解注意力（Factorized Attention）。它将大型矩阵乘法分解为两个较小的顺序操作：
1. 空间注意力： 仅关注同一帧内的像素。复杂度： $T \cdot O (S^{2})$ 。
2. 时间注意力： 仅关注跨帧的同一像素。复杂度： $S \cdot O (T^{2})$ 。
- 总复杂度： $O (T \cdot S^{2} + S \cdot T^{2})$ 。