SWAM：跨模态对齐的世界动作模型

论文作者提出并发布跨模态对齐的世界动作模型 SWAM，同时公开整理的数据、训练代码与模型权重。研究关注世界动作模型引入动作学习后如何维持语言-视频对齐，整理约 47,000 小时通用视频、第一视角视频、UMI 演示和机器人演示数据，比较语言-视频监督、语言-视频-动作监督及两者联合使用的效果。 作者称，在固定训练预算下，混合第一视角视频与 UMI 演示可提升控制泛化；仅用 RoboTwin Clean 演示后训练，在 Easy（Clean-to-Clean）和 Hard（Clean-to-Random）条件下成功率分别为 88.10% 和 61.56%；在三个真实任务上平均成功率 40.00%，最强基线为 23.33%。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。