arXiv cs.RO· Dongkyu Derek Cho, Pan Xu·· 15 小时前AI 评分50
Ordered Policy Optimization(OPO):按重要性比值排序自适应裁剪的强化学习策略优化方法
Ordered Policy Optimization
AI 导读
针对PPO对所有样本使用固定裁剪区间、无法区分极端重要性比值与可容忍大幅变化的问题,作者提出Ordered Policy Optimization(OPO):在每个minibatch内对重要性比值排序,选出对更新影响最大的极端比值,按预设尾部轮廓为其分配自适应逐样本裁剪半径,目标函数仍为一阶且只需minibatch排序与修改后的策略损失。
来源:arXiv cs.RO · arxiv.org