arXiv cs.RO· Paul Pacaud, Ricardo Garcia, Shizhe Chen, Cordelia Schmid·· 2 小时前AI 评分71
Guardian：用视觉语言模型检测机器人规划与执行错误
Guardian: Detecting Robotic Planning and Execution Errors with Vision-Language Models
AI 导读
研究提出自动生成机器人规划与执行失败数据的框架，构建了基于RLBench和BridgeDataV2的GuardianFail-36k失败推理数据集，并训练多视角推理视觉语言模型Guardian。Guardian在RoboFail、RoboVQA和新提出的UR5-Fail三个未见真实世界基准上取得最优性能，与基于大语言模型的操作策略结合后，在仿真和真实部署中均提升任务成功率。代码、数据和模型已公开。
来源：arXiv cs.RO · arxiv.org