AtomicRL用原子任务结构改进VLA策略强化学习后训练

Likui Zhang 等提出 AtomicRL，一种面向长程机器人操作的强化学习后训练框架，利用原子任务结构改进视觉-语言-动作（VLA）策略的信用分配与探索。论文称，在 LIBERO-LONG 上，AtomicRL 相对 PPO 在两种 VLA 架构上分别取得 3.6% 和 4.0% 的绝对性能提升；在 CALVIN ABC-D 上，完整任务性能较 PPO 最多提升 9.5%；与 Real2Sim2Real 流程结合后，真实世界任务性能平均提升 21.3%。 框架包含两部分：语义感知策略优化（SAPO）用语义门控阻止失败原子子任务的 TD 残差跨任务传播，以减轻信用污染；瓶颈自适应目标探索（BATE）依据各子任务掌握程度动态协调任务采样与局部探索激励。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。