FERPO：不依赖critic动作梯度的熵正则策略优化算法

Sebastian Sanokowski等人提出在线最大熵强化学习算法FERPO（Forward Entropy-Regularized Policy Optimization），通过对critic的值而非动作求导来改进策略，避免价值预测准确但动作导数不可靠导致的策略更新问题；随后用前向KL目标拟合actor，通过自归一化重要性采样（SNIS）估计。 在MuJoCo Playground和ManiSkill上的实验和消融显示其具有竞争力的性能和样本效率提升；计算基准测试表明其actor更新速度快于REPPO（Relative Entropy Pathwise Policy Optimization）。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。