SWAM:用跨模态对齐扩展世界动作模型
SWAM 研究世界动作模型在引入动作学习后如何维持语言-视频对齐,整理了约 47,000 小时通用视频、第一视角视频、UMI 演示和机器人演示数据,系统比较语言-视频监督、语言-视频-动作监督及两者联合使用的效果。
推荐理由:原文系统比较了语言-视频与动作监督的组合方式,并给出跨模态对齐在动作学习中的训练配方与实机泛化结果。
SWAM 研究世界动作模型在引入动作学习后如何维持语言-视频对齐,整理了约 47,000 小时通用视频、第一视角视频、UMI 演示和机器人演示数据,系统比较语言-视频监督、语言-视频-动作监督及两者联合使用的效果。
推荐理由:原文系统比较了语言-视频与动作监督的组合方式,并给出跨模态对齐在动作学习中的训练配方与实机泛化结果。
Dexmate 让 Codex(GPT-6 Astra)和 Claude Code(Opus 5.5)通过 MCP 工具控制 Vega 轮式双臂移动操作机器人,水果入篮和开门任务全部成功,精度更高的碗架任务在原始工具接口下无一成功。
推荐理由:Dexmate 用 Codex 和 Claude Code 实测机器人任务,量化了动作之外的时间开销与安全响应缺口。
UC Berkeley的Ken Goldberg团队与NVIDIA机器人工程负责人Spencer Huang提出“agentic robotics”方法,让AI智能体在仿真中生成、测试并修正机器人控制程序,无需额外采集数据。
推荐理由:报道介绍了用多智能体在仿真中生成、测试并修正机器人程序的方法,并给出仓储分拣的落地数据。
北京大学DAGroup等团队向社区开放约20万小时HumanNet第一视角Ego数据,其中约10万小时已上传完成,并整理出5万小时训练语料Open-HumanWAM-50K。
推荐理由:原文给出从100小时到5万小时的Scaling曲线与零样本成功率,可据此判断人类第一视角数据对机器人后训练泛化的实际收益。
作者提出具身多智能体框架 A2-MEAS,以代码作为扩展接口,将纠错语言、空间证据、执行历史与动作建议组合成纠错代码,训练时由 MetaBrain 提供监督与运行时引导。
推荐理由:该框架以代码作为扩展接口,把纠错语言与执行历史注入策略,并给出跨基准与实机任务的量化对比。
苹果研究团队公开 HALO 人形机器人研究,用宇树 G1 背负 Mac mini M4 Pro 本地运行千问模型,在 6 个未扫描的真实家庭中 360 次测试平均成功率达 91%。
推荐理由:苹果用纯仿真合成数据替代人力遥操作,在陌生真实家庭中验证人形机器人技能迁移,为绕开数据瓶颈提供了一条可规模化的路径。
苹果研究团队在 arXiv 发布论文《Perceptive Humanoid Motion from Simulation》,推出人形机器人自主系统 HALO,并在宇树科技 G1 上完成实景验证,同时开源数据生成、训练与部署代码。
推荐理由:论文给出仿真合成数据零样本迁移到宇树 G1 的三层架构与分项成功率,可对照长链条任务的失败环节。
香港科技大学(广州)与欧拉万象等团队提出 SLA(空间—语言—动作模型),以 π0.5 为基础,在持续预训练和任务训练两个阶段加入三维空间监督。在目标移动测试中,SLA 完成抓取、双手交接和放置的成功率为 76%,π0.5 为 42%;八项真机测试平均成功率 83.8%,比 π0.5 高 24 个百分点。
推荐理由:SLA 在持续预训练阶段加入三维空间监督,数据规模对照显示其成功率提升幅度明显高于无监督对照。
Northwestern、CMU、UNC Chapel Hill 和 Amazon 的团队在论文《WOVEN: Weaving Visual World Modeling into Multimodal LLMs》中把世界建模定义为状态转移 p(s′|s,a) 的估计,并构建了 36K 道题的 WOVEN 训练与测评基座。
推荐理由:论文把世界建模拆成可独立干预的状态转移任务,并给出可复用的训练数据选择规则,对多模态模型训练有参考价值。
研究团队提出具身多智能体框架 A2-MEAS,以代码作为扩展接口,通过纠错编码结合纠错语言、空间证据、执行历史与动作提议,并由 MetaBrain 提供训练监督和运行时指导。
推荐理由:该框架以代码作为扩展接口,把纠错语言与执行历史注入策略,并给出多基准与实机对比数据。
AutoDex 是一个无需持续人工操作即可采集真实世界灵巧抓取数据的系统,可自动规划并执行抓取、标注结果并复位物体以持续采集。研究团队用 Allegro 和 Inspire 手在 100 个物体上采集了超过 3500 次抓取试验,记录成功与失败及同步视觉观测和机器人状态;采集 500 条轨迹约需 0.2 人工时,遥操作则为 9.3 人工时。
推荐理由:该研究给出自动采集灵巧抓取数据的闭环系统,并用人工工时与检索成功率对比遥操作和仿真筛选。
NVIDIA 提出一个共享框架,将 Cosmos 世界基础模型适配为面向 Physical AI 的实时交互式世界仿真。该框架能根据动作和场景控制流式输出视觉观测,既支持预测动作的视觉后果,也支持从外部仿真器维护的物理状态生成观测。作者在相机导航、机器人操作、可控视频迁移和多视角自动驾驶仿真中做了演示,并公开了代码与模型检查点。
推荐理由:NVIDIA 把 Cosmos 世界基础模型改造成可实时交互的仿真框架,并公开代码与权重,读者可据此判断世界模型在机器人训练中的可用边界。
研究团队提出人形机器人自主系统 HALO,通过在约一千个程序化生成的家庭场景中合成视觉-语言-动作数据,摆脱对遥操作采集的依赖。HALO 习得坐椅子、导航到指定物体、侧身穿半开门、蹲爬桌下和推箱子等技能,并能组合完成长程任务。训练中未见过真实家庭场景,HALO 零样本迁移到物理世界,在六个未建图真实环境的 360 次试验中达到 91% 成功率。
推荐理由:论文给出用程序化生成家庭场景合成视觉-语言-动作数据、再零样本迁移到实机的完整路径,可参考其数据规模化思路。
众擎机器人与北京大学研究团队联合发布论文PyRUA-REAL,在基础模型参数冻结的设置下,通过研究者与工程师两个编程智能体反复探索、诊断和改代码,把有效做法沉淀为技能与记忆。
推荐理由:论文给出基础模型冻结下靠经验库与双智能体迭代提升真机操作的具体路径和分阶段数据。
PyRUA-DataFarm 提出让编码智能体在仿真中重建任务,由视频模型渲染成真实可用数据,替代遥操作采集机器人演示。在五个真实机器人任务上,仅用该数据训练的策略取得 93/100 次成功,遥操作数据训练的策略为 84/100;在未见过的桌布和彩色光照下,前者保持 87 次成功,后者降至 46 次。
推荐理由:论文给出用编码智能体替代遥操作采集演示的完整流程与成本对比,可据此评估数据采集路线的替代空间。
地瓜机器人联合东京大学等机构发布 RawVLA 技术方案,在 VLA 策略前加入可学习的神经 ISP 模块,VLA 模型保持冻结,用动作误差反向训练成像前端。真机用 π0.5 测试四项双臂任务,暗光平均成功率从默认 ISP 的 0% 提升至 66.5%,正常光下为 75.0%,默认 ISP 为 76.5%。
推荐理由:方案把成像前端纳入可学习环节,并给出暗光与正常光下的对照数据,可供视觉链路设计参考。
RoboTryOn 提出把人类到机器人的转换视为虚拟试穿,保留演示动作、将人替换为参考图指定的目标机器人,并保持任务、物体和背景不变。方法自回归转换关键帧引导视频合成,运动以人手骨架为条件,再用融合深度特征的逆动力学模型(IDM)从合成视频推断动作标签用于策略学习。
推荐理由:提出用虚拟试穿思路把人类视频转成机器人演示,在无真机示教下把新任务成功率从2%提到60%。
研究团队提出动作条件多视角世界模型模拟器 PrimeSim,在覆盖 22 个平台、30110 小时机器人示教数据上做中期训练,并公开模型权重、推理代码和训练代码。
推荐理由:该工作给出跨22个平台、3万小时示教训练的世界模型模拟器,并公开权重与训练代码,便于对照其长时程稳定性与动作跟随能力。
Open-HumanScale 提出首个完全开放的第一视角人类视频预训练配方,将预训练规模扩展到 5 万小时,并配套发布带手部运动与自然语言密集标注的 Open-HumanScale-50K 语料。
推荐理由:材料给出5万小时第一视角人类视频的开放数据与训练配方,并报告数据时长与下游成功率的对数线性关系,可供具身预训练的数据规模决策参考。
Xbotics 具身智能实验室用智元 GE-Sim 2.0 世界模型与 OpenPI π0.5 策略搭建闭环仿真流水线,实测世界模型生成约 4.33 帧/秒、纯策略闭环约 3.20 帧/秒、接入 MiMo 在线判分后降至约 0.88 帧/秒。
推荐理由:作者用四阶段实测拆解世界模型闭环仿真的帧率瓶颈与奖励作弊成因,可迁移到VLA评估流程设计。