跳到正文
热点事件持续更新

ViT-H:视频直接生成人形机器人动作

1 篇报道1 个报道来源3 小时前更新

先了解这件事

AI 综述

Zimo He 等作者发布 ViT-H 视频到人形控制框架,采用“生成加跟踪”的思路:用扩散模型直接从单目视频生成人形参考动作,跳过人体动作重建与重定向环节,并用运动跟踪结果以直接偏好优化后训练生成器。 作者称,在 Unitree G1 上的实验显示,ViT-H 在动作质量与可执行性上优于现有的重建-重定向-跟踪流水线,且性能随模型规模及预训练、后训练数据规模提升。作者还给出自回归变体,称可在低于 400 ms 延迟下实现实时人形视频遥操作。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月26日
  1. arXiv cs.RO
    ViT-H:用扩散模型从视频直接生成人形机器人动作并借助跟踪反馈后训练

    ViT-H 提出生成加跟踪的视频到人形控制框架,用扩散模型直接从单目视频生成人形参考动作,跳过人体动作重建与重定向环节,并用运动跟踪结果以直接偏好优化后训练生成器。作者还给出自回归变体,可在低于 400 ms 延迟下实现实时人形视频遥操作。在 Unitree G1 上的实验显示,ViT-H 在动作质量与可执行性上优于现有的重建-重定向-跟踪流水线,且性能随模型规模及预训练、后训练数据规模提升。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。