跳到正文
arXiv cs.RO· Mattia Scardecchia, Sherry Yang·· 2 小时前AI 评分72

视频世界模型需要可预测的潜空间

Video World Models Need Predictable Latents

AI 导读

该论文提出让视频世界模型的潜空间同时兼顾可预测性与像素重建精度,通过表征学习的时间目标配合过去条件化解码器架构实现。在相同训练预算下,推理成本最高降低 5 倍、训练速度提升 7 倍以上,分布外与长时程预测的像素和感知误差降低 15-24%。作者认为时间可预测性应作为视频世界模型潜空间的重要设计准则,并给出将其纳入自编码器训练的具体做法。

来源:arXiv cs.RO · arxiv.org