多模态大模型或将取代机器人专用策略

不需要训练，没有仿真到现实迁移的差距，只需一个提示和一个愿景。 Sentdex 指出，当前机器人领域的每个任务都是移动、操作、视觉、规划等的复杂组合，一旦偏离训练数据或仿真特性就会失效。因此许多演示只在完美光照和精心摆放物体的条件下进行，从未在真实世界的未知条件下落地——每次部署都是独特的边缘情况。 示例中，一个通用多模态大语言模型（DSV4.1F）完成了一项从未专门训练过的机器人任务，使用没见过的摄像头、未学习过的伺服电机/电机、从未处理过的环境和从未测试过的形态。视频为 10 倍速，目前较慢，但这已是该智能水平的最慢状态。 Sentdex 表示，越使用通用多模态大模型，越意识到 ACT、VLA 等专用方法可能只是配角和干扰，最终将被顺带完成机器人的通用模型吞没。他不认为永远会是大语言模型，但大模型能完成最具挑战性的机器人任务这一事实，说明…… ——Sourccey 功能持续改进中。