机器人强化学习近三年在做什么：奖励设计、VLA后训练与世界模型

深蓝AI梳理2023至2026年机器人强化学习的变化，指出优化器并未换代，PPO仍用于NVIDIA人形机器人运动策略和VLA后训练对照实验。文章从语言模型辅助奖励设计、仿真训练与真机迁移、VLA后训练三条线索展开，并比较直接RL、残差RL和世界模型内rollout三种路线，认为PPO的保守更新对应机器人采样贵、奖励脏、分布会漂的条件。