SpatialDex用人类视频预训练双臂灵巧操作

Xingyi He 等研究者提出 SpatialDex 框架，从纯 RGB 人类视频中学习 3D 接地的双臂灵巧操作：对每段视频重建场景几何并估计手部运动，用 3D 手部估计的手尺寸先验在视频级尺度上对齐二者，再把重建几何同时作为策略输入和预测目标。 该方法在 100 万段人类视频片段上预训练，再用少量机器人演示微调。作者称其在两种本体的九项仿真灵巧任务上比现有方法高 16.5 分，在六项真实双臂灵巧任务上高 38.3 分；在匹配对比下，加入重建几何的预训练比仅用手部运动的预训练成功率高 14.2 分。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。