Semantic World Models：用视觉语言模型预测语义信息做机器人规划

论文提出 Semantic World Models，把世界模型建模为对未来帧语义信息的视觉问答，而非重建未来像素，从而可用视觉语言模型经图像-动作-文本数据监督微调得到。作者在仿真机器人任务上验证，效果优于典型的基于重建的动作条件世界模型。