ViT-H:视频直接生成人形机器人动作
热点事件持续更新
ViT-H:视频直接生成人形机器人动作
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
Zimo He 等作者发布 ViT-H 视频到人形控制框架,采用“生成加跟踪”的思路:用扩散模型直接从单目视频生成人形参考动作,跳过人体动作重建与重定向环节,并用运动跟踪结果以直接偏好优化后训练生成器。 作者称,在 Unitree G1 上的实验显示,ViT-H 在动作质量与可执行性上优于现有的重建-重定向-跟踪流水线,且性能随模型规模及预训练、后训练数据规模提升。作者还给出自回归变体,称可在低于 400 ms 延迟下实现实时人形视频遥操作。
AI 根据报道生成 · 2 小时前更新
最新进展10月26日 12:00
ViT-H:用扩散模型从视频直接生成人形机器人动作并借助跟踪反馈后训练报道时间线
沿着报道,了解事件的不同侧面。
10月26日
- arXiv cs.ROViT-H:用扩散模型从视频直接生成人形机器人动作并借助跟踪反馈后训练
ViT-H 提出生成加跟踪的视频到人形控制框架,用扩散模型直接从单目视频生成人形参考动作,跳过人体动作重建与重定向环节,并用运动跟踪结果以直接偏好优化后训练生成器。作者还给出自回归变体,可在低于 400 ms 延迟下实现实时人形视频遥操作。在 Unitree G1 上的实验显示,ViT-H 在动作质量与可执行性上优于现有的重建-重定向-跟踪流水线,且性能随模型规模及预训练、后训练数据规模提升。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。