提出视觉触觉世界模型PhysCanvas用于机器人策略评估与学习

Zebin Xing 等研究者提出 PhysCanvas，一个面向接触密集型机器人操作的状态一致视觉触觉世界模型，将多视角 RGB、触觉图像、marker 位移、任务状态与动作统一到同一视觉空间，共享视频 VAE 与预训练生成骨干，用于闭环策略评估与 GRPO 策略后训练。 在四个真实操作任务上，作者称在世界模型中 rollout 策略时，State Reward Model 监督将世界模型与真实成功率的逐任务 Pearson 相关系数均值从 0.602 提升到 0.885；在奖励引导的世界模型中做策略后训练，将 π₀.₅ 的真实平均成功率从 59.1% 的 SFT 基线提升到 70.8%。其一致性感知后训练使用冻结的 Scene Reward Model、Modality Reward Model 与 State Reward Model，分别监督场景保持、视觉-触觉兼容性以及与真实任务结果的一致性。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。