Physical Intelligence 提出 MEM,让 π0.6 的 VLA 记住最长 15 分钟的长时程任务
Physical Intelligence 提出名为 Multi-scale Embodied Memory(MEM)的方法,为视觉-语言-动作模型(VLA)同时提供短期与长期记忆,使模型能完成最长 15 分钟的任务,如清理整个厨房或从头做烤奶酪三明治。
推荐理由:文章把长时程任务的瓶颈定位到记忆机制,并给出短期存视频、长期存语言的双尺度设计,思路可迁移。
Physical Intelligence 提出名为 Multi-scale Embodied Memory(MEM)的方法,为视觉-语言-动作模型(VLA)同时提供短期与长期记忆,使模型能完成最长 15 分钟的任务,如清理整个厨房或从头做烤奶酪三明治。
推荐理由:文章把长时程任务的瓶颈定位到记忆机制,并给出短期存视频、长期存语言的双尺度设计,思路可迁移。
Physical Intelligence 研究发现,在只有人类演示出现的泛化场景中,仅将人类第一视角视频与机器人数据混合微调 π0.5,就能让策略性能提升约 2 倍,全程没有使用任何显式的迁移学习机制。
推荐理由:实验显示仅把人类视频混入微调就能让策略在纯人类演示场景上提升约2倍,且该能力随预训练机器人数据规模增长而出现。