arXiv cs.RO· Haitang Feng, Zhuoman Liu, Zhennan Wang, Sheng Wang, Juelin Li, Chengzhi Zhao, Hexiang Wei, Lin Shao·· 8 天前AI 评分62
GenSight：统一视频生成与4D感知的具身世界模型
Seeing and Imagining as One: Unified Video Generation and 4D Perception for Embodied World Modeling
AI 导读
GenSight 是一个统一的具身世界模型，把未来视频生成与稠密感知整合进同一个预训练视频扩散 Transformer。它用统一的时空表示覆盖视频、深度、具身分割和相对首帧的2D光流，基于共享 DiT 主干以轻量任务调制在同一架构内预测各模态，并在统一速度预测空间联合优化。推理时支持多步未来视频生成加对齐稠密预测，以及从观测视频做单步稠密感知，训练数据涵盖多种机器人本体与人类手部交互。
来源：arXiv cs.RO · arxiv.org