提出任意骨架的3D动作与视频协同生成模型

Noam Rotstein 等研究者提出“Joints, Camera, Action”模型，可为任意给定骨架同时生成视频与3D动作，并生成将动作配准到场景的相机。该模型把3D动作保留在独立模块中以支持任意骨架，通过少量交叉注意力层与预训练视频模型连接，并利用生成式视频编辑器整理出近20万对训练数据。 论文评测显示，该模型从文本驱动多样骨架动画比视频优先的流程更忠实，动作会响应周围场景，还支持视频转骨架动作、骨架动作转视频以及基于关键帧的3D动作控制。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。