跳到正文
arXiv cs.RO· Huiwon Jang, Suhyeok Jang, Hyeonmo Kang, Seungku Kim, Jinwoo Shin, Sihyun Yu·· 19 天前AI 评分67

FRED:用自蒸馏学习未来视频表征的世界动作模型

Self-Distilling Future Video Representations for World Action Models

AI 导读

研究提出 FRED 框架,通过自蒸馏从噪声中单步预测未来视频表征,并以真实未来观测提取的表征作为目标,同时用历史观测为视频模型提供时序上下文。在多种真实操作场景中,FRED 优于对比的世界动作模型,在零样本环境泛化的长时程与域外任务上提升明显;仅用人类视频演示、机器人训练数据中不存在的任务成功率达 50.0%,对比最佳同类模型为 19.4%。

来源:arXiv cs.RO · arxiv.org