强化学习策略优化：从策略梯度到PPO

强化学习策略优化从REINFORCE、Actor-Critic、TRPO演进到PPO，核心是让策略梯度更新更稳定高效。PPO用新旧策略概率比截断限制单次更新幅度，兼顾实现复杂度与稳定性，适用于连续和离散动作。文章还梳理了GAE优势估计、on-policy数据流程及学习率、clip范围等关键超参数的调参思路。