arXiv cs.RO· Pranav Teegavarapu, Sriyash Poddar, Rico Qi, Cleah Winston, Krisha Khandelwal, Aykut Onyol, Natasha Jaques, Abhishek Gupta·· 15 小时前AI 评分62
Q-OIL：基于人类干预的乐观探索强化学习方法
Q-OIL: Optimistic Exploration in Learning from Human Interventions
AI 导读
作者提出Q-OIL，在强化学习中对干预转移加入乐观奖励并软性引导探索朝向人类纠正，在仿真和真实机器人上成功率比竞争基线高10-50%。研究先分析真人干预数据，发现人常在智能体进展停滞时介入且纠正动作往往次优，据此建立基于进展的人类干预模型，使仿真中的算法排序与真实用户排序相关性更高。作者指出解耦评论家对稳定性关键，可防止奖励回传到干预前状态，该方法还提升了两个双臂操作任务上的预训练VLA。
来源：arXiv cs.RO · arxiv.org