arXiv cs.RO· Zimo He, Tianyi Bian, Zizhong Yang, Hongjie Li, Nan Jiang, Jieming Cui, Baoxiong Jia, Yizhou Wang, Siyuan Huang, Yixin Zhu·· 4 小时前AI 评分72
ViT-H：用扩散模型从视频直接生成人形机器人动作并借助跟踪反馈后训练
ViT-H: Generative Video-To-Humanoid Control with Motion Tracking Feedback
AI 导读
ViT-H 提出生成加跟踪的视频到人形控制框架，用扩散模型直接从单目视频生成人形参考动作，跳过人体动作重建与重定向环节，并用运动跟踪结果以直接偏好优化后训练生成器。作者还给出自回归变体，可在低于 400 ms 延迟下实现实时人形视频遥操作。在 Unitree G1 上的实验显示，ViT-H 在动作质量与可执行性上优于现有的重建-重定向-跟踪流水线，且性能随模型规模及预训练、后训练数据规模提升。
来源：arXiv cs.RO · arxiv.org