单条人类RGB视频生成数千条机器人演示数据

Matthew Strong 等提出 Real2Sem2Real（R2Sem2R）管线，把单段单目 RGB 人类演示视频转化为同一类别下多个语义物体实例的数千条机器人演示数据，约两小时可生成 2000 余条。该方法用 DINOv3 蒸馏的高斯泼溅跟踪物体 SE(3) 位姿，性能超过现有方法和使用估计度量深度的 FoundationPose，并把人手动作映射为可迁移到数字孪生体的可行机器人抓取。 机器人演示在 IsaacSim（照片级渲染）或 MuJoCo（接触物理）中生成。作者称在两台真实机器人、四项任务上，用每项任务一条人类视频训练视觉-语言-动作策略，其在多样物体实例上的表现达到或超过用遥操作数据训练的策略。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。