WAM 世界动作模型技术解析
以 DreamZero 为例，解释世界动作模型如何联合预测未来画面与机器人动作，并梳理它与 VLA 的区别、训练目标、闭环执行和实验边界。
让机器人理解“把杯子放进抽屉”这句话，只解决了一部分问题。机器人还需要判断杯子如何移动、夹爪怎样避开抽屉边缘，以及接触发生后该怎样调整动作。
WAM（World Action Model，世界动作模型）的核心思路，是把未来世界的变化与能够产生这些变化的动作联系起来。 在本文重点讨论的联合预测路线中，模型同时预测未来视觉状态与机器人动作，让“接下来会发生什么”和“机器人该怎么动”在同一个学习过程中对齐。NVIDIA 技术解读
WAM 是一类模型方法，DreamZero 是其中一个具体实现。下面以 NVIDIA 的 DreamZero 为主线，解释概念、数学表达、训练方法与部署问题。文中的简化公式和操作例子用于讲解；具体实验数字对应文中注明的评测设置。
从理解任务到执行动作
设想一个教学场景：机器人需要把桌上的杯子放进已经打开的抽屉。
这个过程涉及三种不同的信息。语言告诉机器人目标是什么；相机与关节状态告诉机器人现在在哪里；运动过程则决定夹爪怎样接近、抓取、搬运和释放杯子。
可以通过下表区分几种常见建模方式。它描述的是典型做法，并不规定每一种具体架构。
| 建模方式 | 主要学习的问题 | 典型输出 |
|---|---|---|
| VLA（视觉语言动作模型） | 给定观察和指令，应该执行哪些动作 | 动作序列 |
| 动作条件世界模型 | 给定当前状态和候选动作，世界会怎样变化 | 未来图像、视频或潜在状态 |
| 联合预测型 WAM | 怎样的未来状态与怎样的动作相互匹配 | 未来状态与动作序列 |
VLA 常以视觉语言模型为基础，视频式 WAM 则倾向于继承视频模型的时空表征。另一些 WAM 采用“先预测未来，再通过逆动力学求动作”的分阶段设计，或仅保留视频骨干的表征能力。WAM 并不限定为一种网络结构。NVIDIA 对 VLA 与 WAM 路线的梳理
对于杯子这个例子，联合预测的直观含义是：如果模型预测杯子会被抬起，那么对应动作也应当包含能够完成抓取和抬升的运动。这样的训练目标为动作学习增加了对环境变化的约束。
这仍然是统计学习意义上的一致性。预测画面中杯子没有碰撞，并不能证明真实机械臂一定能够无碰撞地完成动作。
用联合分布理解 WAM
为了把问题写清楚，先定义一套教学记号：
Cₜ：当前条件，包括指令、视觉历史和机器人自身状态。O⁺：接下来一段时间的视觉观察。A⁺：同一时间范围内的动作序列。
直接动作预测可以抽象为：
联合预测型 WAM 则建模：
根据概率链式法则，它可以分解成：
右侧第一项描述可能的视觉未来，第二项描述与这个未来相匹配的动作。第二项可以从逆动力学的角度理解：已知状态如何变化，推断什么动作能够产生这种变化。
需要区分数学分解与实现流程。上式既可以启发一个由两个模型组成的系统，也可以由单个模型学习联合分布。DreamZero 采用后者，通过联合生成来耦合视频与动作。DreamZero 论文第 3.1 节
为什么需要概率分布？因为同一个任务可能有多种合理动作。例如，夹爪可以从不同方向接近杯子。如果把几条可行轨迹简单取平均，平均轨迹未必可行。生成式动作模型试图学习这种多解性；Diffusion Policy 就展示了通过条件扩散建模多模态动作分布的方法。Diffusion Policy 官方项目
DreamZero 如何连接视频与动作
DreamZero 基于预训练视频生成骨干构建，采用 14B 参数的模型。输入包含视觉历史、语言指令和本体感知状态，模型在潜在空间中联合预测未来视频与动作。DreamZero 论文
下图是讲解用结构图，省略了注意力掩码、位置编码与具体张量维度。
图中有两个值得单独理解的概念。
潜在表示是对视频的压缩表达。模型不必始终对完整像素阵列进行运算，而可以在压缩后的特征空间中学习，再按需要解码成画面。DreamZero 使用的 Wan2.1 视频模型体系提供了视频 VAE 与图生视频能力。Wan2.1 官方仓库
本体感知状态描述机器人自身的情况。对于教学例子，可以把它想成关节角度、夹爪开合等数据。两幅外部画面即使相近，机器人的关节姿态也可能不同，因此“下一步怎么动”需要结合自身状态判断。
理解这个结构时，关键是视频未来与动作共享条件并相互对齐。只在动作网络旁边附加一个独立视频生成器，并不能自动得到同样的学习关系。
联合生成怎样训练
从噪声到视频和动作
Flow Matching（流匹配）可以通过学习向量场，把噪声逐步变换为数据样本。下面用一条简单的直线路径解释它的直觉。Flow Matching 原始论文
把一段未来视频的潜在表示记为 Z，归一化后的动作记为 A，合并为：
再采样同形状的高斯噪声 X₀，构造中间状态：
当 τ=0 时是噪声，τ=1 时是真实样本。对于这条路径，目标方向为：
一个用于理解的简化损失是：
模型学习的是：在当前条件下，应该沿什么方向更新这份带噪表示，才能逐步得到合理的视频和动作。实际系统还需要处理模态权重、时间分块与注意力关系；这里的公式只保留生成训练的基本含义。
DreamZero 使用流匹配进行视频与动作的联合训练，并让当前带噪块以真实历史作为条件。这种使用真实历史指导下一块预测的训练方式称为 teacher forcing。DreamZero 训练目标
这里还有两种不同的“推进”：跨视频块的自回归沿真实时间推进；块内的生成迭代则沿噪声到数据的路径推进。流场中的“速度”描述生成表示的变化，不是机械臂的物理运动速度。
视频预训练与机器人数据分别提供什么
可以用两个问题理解数据的作用：视频让模型接触“物体怎样变化”，带动作的机器人轨迹则让模型接触“这台机器怎样造成变化”。
例如，人类把杯子放入抽屉的视频可以展示任务过程，却没有直接提供某台机械臂的关节指令。跨机器人迁移也面临同样的问题：视觉目标可以相似，动作坐标、自由度与夹爪结构却可能不同。
因此，视频知识到机器人控制之间仍然需要动作对齐。复现时，应当把“继承视频预训练知识”和“使用机器人数据适配动作空间”视为相互连接的两个环节。
官方的新机器人接入文档也体现了这一点：需要配置视频、状态、动作、语言字段，以及归一化统计、帧率与动作时间范围。这些配置决定训练样本中的画面变化是否与动作含义对应。DreamZero 新机器人接入指南
闭环执行为何重要
继续用杯子作为例子。模型预测夹爪闭合后杯子会抬起，但真实执行时，杯子可能滑落。如果后续决策一直沿用预测画面，模型就可能继续生成“把杯子送进抽屉”的动作，而夹爪已经空了。
闭环执行要求系统重新观察实际结果，再生成下一段动作。DreamZero 将真实观察反馈到历史缓存中，替换相应的生成观察，以降低预测历史持续累积偏差的问题。DreamZero 推理方法
从控制角度，可以把过程理解为：
- 获取最新观察与机器人状态。
- 预测一段未来状态和动作。
- 执行动作，并持续获取真实反馈。
- 根据新观察更新下一段预测。
滚动生成动作序列与反馈控制的结合，在 Diffusion Policy 中也有明确实践。WAM 为这一过程进一步引入了未来状态的建模目标。Diffusion Policy 的滚动时域控制
DreamZero 报告的约 7 Hz 指动作块生成频率，最终低延迟配置使用两块 GB200；论文双臂实验的动作执行频率是 30 Hz。这两个频率分别描述策略更新与动作执行，不能互换。DreamZero 实时执行章节
实验结果怎样解读
DreamZero 官方项目展示了新环境、新任务和新机器人适配等评测。几个代表性结果如下。DreamZero 官方实验展示
| 评测设置 | 报告结果 | 需要关注的含义 |
|---|---|---|
| AgiBot 已见任务在新环境与新物体中执行 | 平均任务进度 62.2%，最佳预训练 VLA 基线为 27.4% | 衡量该评测中的环境与物体泛化 |
| AgiBot 训练中未出现的任务 | 任务进度 39.5% | 衡量该设置下的新任务泛化 |
| DROID 中未出现的动作动词 | 任务进度约 49% | 衡量该设置下的新动作泛化 |
| 适配 YAM 机器人 | 使用约 30 分钟、55 条轨迹的 play data | 少量数据适配后，再测试新任务与新物体 |
任务进度与完整成功率回答的是两个不同问题。 假设一个教学评测把任务拆成抓住、抬起、放入三个等权步骤，完成前两步会得到约三分之二的进度，但整项任务仍未成功。这只是指标说明，具体实验应使用各自定义的评分规则。
同样，30 分钟适配数据并不表示模型只学习了 30 分钟。它是在已有预训练模型基础上增加目标机器人的数据。新任务的 zero-shot 也应结合评测的训练划分理解，不能扩大为“模型此前从未接触过任何相关视觉知识”。
从实验模型走向机器人系统
WAM 的一个吸引力，是让视频学习与动作学习形成更紧密的联系。但部署时仍需分别评估预测质量、动作质量与执行延迟。
画面合理性只是一个观察角度。 对杯子任务而言，应当分别记录杯子是否被抓稳、是否发生碰撞，以及是否真正到达抽屉内部。仅观看生成视频，无法替代真实执行评价。
推理成本会直接影响反馈速度。 DreamZero 官方代码提供分布式推理服务器，测试硬件包括 GB200 与 H100，并提供缓存优化。复现者需要按具体硬件、配置与模型版本测量延迟，不能把论文中的速度直接当作本机性能。DreamZero 官方推理说明
短时动作能力还需要与长期任务能力区分。 DreamZero 论文讨论的视觉历史约为 6 秒，并指出亚厘米级插入、精密装配等任务仍有困难。更复杂的任务可能需要更长上下文或额外的高层规划。DreamZero 局限与后续工作
动作接口也是模型的一部分。 把关节位置误当作增量，或者让相机帧与动作错开，都可能使训练数据中的对应关系失真。接入新机器人时，应先核对字段定义与时间对齐，再判断模型是否学会了任务。DreamZero 数据配置指南
这些因素也给出了一个适合入门的实验思路：选择一个能够明确判定成功的短任务，保留真实观察、预测视频和执行动作，逐次查看三者在哪里开始出现偏离。这样更容易区分感知错误、未来预测错误和动作执行错误。
WAM 后续研究关注什么
截至 2026 年 10 月，WAM 已有继续探索组件组合与跨机器人泛化的工作。例如，斯坦福的 OpenWAM 研究可组合的视频预测、逆动力学和正向动力学组件；Dream Labs 的 Dream-1 则报告了面向未见机器人泛化的进展，相关能力应按其具体硬件范围与实验条件理解。斯坦福 OpenWAM、Dream-1 官方介绍
这些方向共同指向一个值得继续验证的问题：模型能否把学到的环境变化规律，更稳定地转化为不同机器人可以执行的动作。对于学习者，沿着“预测什么未来、怎样表示动作、如何进行反馈”这三条线阅读论文，通常比只比较模型名称更有帮助。
参考资料
- World Action Models are Zero-shot Policies，DreamZero 论文，本文技术分析对应 v1。
- DreamZero 官方项目，查看实验设置与真实执行展示。
- DreamZero 官方代码，查看训练、推理与机器人接入方式。
- Pretrained to Imagine, Fine-Tuned to Act，了解 WAM 的不同实现路线。
- Flow Matching for Generative Modeling，理解生成模型中的向量场学习。
- Diffusion Policy，理解动作分布与滚动时域控制。