arXiv cs.RO· Seungyong Lee, Suhyeok Jang, Minyoung Kim, Jinwoo Shin·· 5 天前AI 评分71
RoboTryOn：用虚拟试穿将人类视频合成机器人灵巧操作演示
Synthesizing Dexterous Robot Demonstrations from Human Videos via Virtual Try-On
AI 导读
RoboTryOn 提出把人类到机器人的转换当作虚拟试穿，保留演示动作、物体和背景，只把人类替换成参考图指定的目标机器人。方法自回归转换关键帧并以其引导视频合成，运动以人手骨架为条件，再用带深度特征的逆动力学模型（IDM）从合成视频推断动作标签用于策略学习。实验显示，仅用合成数据训练的策略在包括双臂操作在内的新任务上平均成功率从2%提升到60%，且约三分之一采集成本即可达到纯遥操作示教策略的水平。
来源：arXiv cs.RO · arxiv.org