FERPO：不依赖critic动作梯度的熵正则策略优化算法

FERPO（Forward Entropy-Regularized Policy Optimization）是一种在线最大熵强化学习算法，通过对critic的值而非动作求导来改进策略，避免价值预测准确但动作导数不可靠导致的策略更新问题。