DreamX：视频扩散模型作通用潜在动作学习器

KAIST与NVIDIA的研究者提出 DreamX，把预训练的 Cosmos-Predict2.5 2B 视频扩散模型当作动作提取器，用可学习查询从骨干时空表示中读出潜在动作，每潜帧 4 个 token（约 1200 个 token 压缩至 4 个，约 300 倍）。作者称，在人类视频与机器人视频混合训练、不使用人类—机器人配对数据的情况下，该方法实现了跨身体迁移；在 LARY-Bench 上，它在潜在动作模型中达到最先进水平，其潜在空间支持任意视频间转换，并能在不同具身形态和环境中实现零样本动作迁移。 该工作于 2026 年 11 月 3 日首次提交 arXiv（cs.CV），目前为 v1 预印本，尚未见正式发表记录；项目页标注“Code soon”，代码与权重尚未公开。 机器人执行实验的规模有限：只涉及一个机器人（双臂 YAM）、一个任务族（抽屉）、45 条训练轨迹，每配置 10 次试验；执行时没有视觉反馈，只有潜在动作与初始本体状态。

AI 根据报道生成 · 4 天前更新