LaLa-World：用自然语言动作扩展潜在世界模型

论文提出 LaLa-World，一种语言条件化的潜在世界模型（LWM），可从仿真与机器人轨迹以及更广泛的图像、视频数据中联合学习。其关键设计是用语言同时描述数值动作和视觉变化，从而在异构数据集上训练单一未来预测器，并将预测器构建在语言模型之上以解释语言条件。