arXiv cs.RO· Noam Rotstein, Yoad Tewel, Chen Tessler, Haggai Maron, Gal Chechik, Or Litany, Yoni Kasten, Yuval Atzmon·· 3 小时前AI 评分55
Joints, Camera, Action! 面向任意骨架的3D动作与视频协同生成模型
Joints, Camera, Action! Co-Generating 3D Motion and Video for Arbitrary Rigs
AI 导读
论文提出一个模型，可为任意给定骨架同时协同生成视频与3D动作，并生成将该动作配准到场景的相机。该模型将3D动作保留在独立模块中以支持任意骨架，通过少量交叉注意力层与预训练视频模型连接，并利用生成式视频编辑器整理出近200K训练对。评测显示其从文本驱动多样骨架动画比视频优先的流程更忠实，动作会响应周围场景，还支持视频转骨架动作、骨架动作转视频以及基于关键帧的3D动作控制。
来源：arXiv cs.RO · arxiv.org