拆解 WorldScape-R²SI：机器人 Agent 如何通过技能与动作模型自我改进

研究范围：这套系统解决什么问题

机器人完成任务需要连续回答三个问题：下一步做什么，动作怎样执行，失败后怎样调整。WorldScape-R²SI 把这些问题分配给不同组件，再用执行记录推动下一轮改进。

它采用“Agent＋动作模型”的路线：内层 Robot Agent 操作机器人，外层 Recursion Agent 分析经验、提出修改，并通过测试选择新的版本。更新既可以作用于技能与工具使用方法，也可以作用于机器人动作模型的权重。技术报告

本文于 2026 年 10 月 28 日整理，依据作者报告、项目网站、模型卡和公开代码。本文没有实际运行复现实验；下文的成绩与案例数字均来自作者材料。代码链接固定到本次查阅的提交 3edfe6a，便于后续对照。这个源码快照不自动等同于早期榜单成绩对应的完整评测版本。

一张图看懂执行与改进

按照公开架构，可以把系统拆成两个循环：

执行循环：
任务指令＋相机画面＋机器人状态＋回合历史
                      ↓
                内层 Robot Agent ← 共享技能库
                      ↓
           ┌──────────┴──────────┐
           ↓                     ↓
    原生移动与夹爪工具       WSP 动作模型
           └──────────┬──────────┘
                      ↓
              实际执行、返回新观测
                      └────→ 内层继续判断

改进循环：
执行记录 → 外层分析 → 提出候选 → 对比验证
                         ↓           ↓
                 修改技能／可选训练   通过后启用新版本

内层在一个回合里不断观察和执行，外层在开发轮次之间修改系统。每个回合启动时绑定版本，更新供后续回合使用；采集记录与验证记录分别管理。这样的设计让一次执行有明确的代码、技能和权重来源。架构说明

内层 Agent：判断、调用、检查

公开配置中的内层 Agent 使用 gpt-6-astra，推理强度为 high，保留完整回合上下文。它选择原生工具或 WorldScape Flash/Memory 策略，执行入口对接 RoboDojo 的 ARX X5 机器人与关节动作接口。内层运行说明

两条执行路径的分工如下：

原生工具提供末端移动、相对平移、旋转、夹爪开合和等待等接口。例如，Agent 给出一个目标姿态，执行器负责生成运动。工具返回的计划不能证明实际操作成功，抓取之后仍须用新画面核验物体是否被夹住。动作原语

这带来一个重要的工程判断：一次工具调用结束，应当获得足够的信息来决定继续、修正还是停止。把“接口调用成功”当作“任务动作成功”，会让后续步骤建立在错误状态上。

技能库：把经验写成可复用的操作方法

公开技能库包含 34 份通用 Skill、4 个工具和 2 个原语，任务共享同一份库。内容包括双臂协调、接触与适配、抓取和释放、物体丢失后的恢复、时序观察以及归位等。技能目录

这些 Skill 以 SKILL.md 等形式描述操作知识。读者可以把它理解为给 Agent 使用的操作说明：说明适用条件、动作方法、检查点和失败恢复方式。

它与神经网络权重承担不同职责。改变一条技能，可以改变 Agent 的操作顺序和工具选择，而不必训练模型。例如，“转动手腕前先让手指离开物体”属于程序性的经验；连续运动过程中如何根据画面产生关节动作，则可以交给动作模型学习。

从系统设计角度看，技能库也提供了一个容易检查的改进对象。一次修改究竟调整了什么，可以通过文本差异、调用记录和实际结果一起判断。

WSP：负责连续动作生成的另一个模型

R²SI 使用 WorldScape Policy 2 的 RoboDojo 后训练权重。WSP 属于 World Action Model，其底层研究联合建模未来视觉变化与机器人动作，让视觉预测和动作生成共享学习过程。WSP 2 论文还讨论了事件记忆、近期视觉上下文与潜在子目标规划。WSP 2 论文

需要区分底层模型论文的全部能力与 R²SI 本次公开接口实际开放的能力。不能因为底层论文支持某种提示方式，就假定打榜接口也把这种输入传给模型。

发布的两个版本具有不同的上下文设置：

两者支持 ARX X5 的绝对关节控制。模型卡与权重 训练文档进一步说明，RoboDojo 使用 14 维绝对关节动作及 z-score 归一化；默认 Flash 为 H24/C1，Memory 为 H24/C24，即动作预测长度为 24，上下文长度分别为 1 和 24。原生训练说明

这里至少存在两类容易混淆的“记忆”：Agent 的对话与执行历史，以及 Memory 动作模型自身的时序上下文。两者并不自动共享。

Agent 怎样监督与接管动作模型

当前公开技能约定，调用 WSP 时参数为空对象，任务指令取自环境原文。Agent 生成的子目标、策略文字、对象引用和对话记忆不会直接作为 WSP 输入。

每个已确认执行的动作之后，Agent 可以检查新画面和状态。如果需要接管，就丢弃尚未执行的动作后缀。部分执行的动作块不能冒充完整执行；重新切入 Memory 也不能恢复它从未看到的历史。Memory 调用定义

公开的策略选择技能据此给出约束：当前观测充分、目标明确的局部连续动作可以考虑委托；精细接触、身份或顺序规则、依赖 Agent 额外记忆的阶段，默认优先使用原生工具。发现方向错误、风险或持续无进展时，应接管并修正，不能靠反复切换 Flash 与 Memory 碰运气。策略适用性定义

这部分值得借鉴的设计，是把“是否委托”和“是否继续委托”都变成需要观测证据支持的决策。

外层 Agent：把执行经验变成候选版本

公开的 rsi/outer.py 使用结构化提案组织反思结果。提案包括问题假设、支持它的回合记录、技能更新、记忆规则更新、允许修改的代码，以及可选的训练请求。外层还能读取具体回合记录与图像，补充判断依据。反思与提案代码

协调流程在 rsi/local_loop.py 中实现，可以概括为五步：

1. 用当前版本采集开发任务的执行记录。
2. 外层 Agent 根据记录提出修改。
3. 构建包含技能、代码和权重绑定的候选版本。
4. 用验证案例比较候选与当前版本。
5. 根据验证结果决定是否启用，再开始下一轮。

代码检查采集案例和验证案例不能重叠，并限制训练请求不能超出每轮预算。训练产物还需要具备完整的导出检查点和实际优化指标，才能继续进入后续流程。循环协调代码

“自我改进”在这里体现为一个可重复的实验过程：系统生成假设和修改，但修改能否留下来，要看执行验证。

哪些改进需要训练

公开默认配置更新通用 Skill 和 Memory 规则。启用模型训练需要额外配置数据、训练预算以及候选权重服务，训练后的模型通过独立服务参与验证。正在执行的回合保留其原有版本。自主 RSI 配置说明

因此，运行外层循环不意味着每一轮都在训练模型。这里描述的权重更新针对机器人动作模型；材料没有描述对 GPT-6 Astra 权重进行微调。

一个案例：改变推尺子的方式

项目网站给出了 align_blocks 案例：机器人需要用尺子推齐三个方块，并在 200 个原生动作步以内完成。

其中一次关键改动，是保持夹爪打开，用夹爪接触面推动尺子，同时减少重复的小幅移动。候选技能在相同的 8 个布局上接受检查，网站记录最终版本全部在预算内完成，平均动作步数从 v1 的 215 降到 v4 的 140。项目案例页

这个案例说明，任务成绩可能被操作方法和步数浪费显著影响。减少抓取、抬升、调整和重试，可以让同一套机器人能力在预算内完成任务。

但这仍然是作者展示的单任务案例，不能直接外推为所有任务都能获得相同比例的提升。网站不同位置对该案例最初成功布局数量的表述也不一致，因此这里仅采用其明确描述的最终表现与平均步数对照。

成绩能说明什么，仍有哪些未知

技术报告给出的整体结果为：

Score 与成功率是不同指标。报告的各能力组结果中，记忆类得分为 65.78，精细操作类为 23.51。报告说明正式评测使用固定的已接受配置。结果与评测说明

这些数字应当带着版本与时间阅读。官网展示的榜单快照标注为 2026 年 10 月 17 日，不能据此声称它在本文发布日期仍然排名第一。官网快照说明

对结果的进一步解释，需要保留三个边界：

• 相同 VLM 不代表只改变了一个因素。 完整系统还包含技能、控制工具与 WSP，整体差距不能全部归因于外层反思。
• 具备训练路径，不等于已经量化训练贡献。 需要固定其他条件，比较有无权重更新，才能估计这条路径带来的收益。
• 开发验证通过，不等于已经证明广泛泛化。 更有说服力的证据还应包括更多未参与迭代的布局、随机种子和任务。

就本文查阅的 R²SI 报告而言，尚不足以从完整的全榜消融中分别拆出技能、模型调用和自动训练的贡献。WSP 2 的底层模型实验，也不能直接代替 R²SI 整套系统的消融。

对复现与开发的启发

我的建议是先建立一个能解释结果的最小闭环：固定模型与工具，在少量任务上记录完整轨迹，修改一条技能，再用预留布局比较。成功率、任务进度和原生动作步数应分别保存，以免把“更快但失败”误认为改进。

待这个过程稳定后，再引入动作模型的委托与接管，最后考虑把合格轨迹转换为训练数据。这样可以逐步回答收益来自哪里，也更容易定位退化。

公开实现提供 Linux、Python 3.11 和 NVIDIA CUDA 的安装路径，并支持把仿真与 WAM 服务分开部署。文档要求至少为权重预留 60 GB 磁盘空间，这个数字不等于推理显存需求。其他加速器上的可用性、吞吐和训练成本，需要通过具体适配与测量确认。运行说明、部署说明

R²SI 值得研究的核心，是让技能、动作模型和执行反馈形成可验证的改进过程。对开发者而言，最有价值的问题是：每一次更新是否有可追溯的依据，以及它是否在独立测试中改善了机器人行为。

资料与版本

• R²SI 技术报告：整体方法、评测口径与报告成绩。
• 项目网站：操作演示与技能迭代案例。
• 公开代码固定快照：本文查阅版本 3edfe6a。
• WorldScape-R2SI 权重：Flash 与 Memory 模型卡。
• WorldScape Policy 2.0 论文：底层世界动作模型研究。
• RoboDojo 榜单中的项目轨迹页：官方项目入口。