Sergey Levine· svlevine·· 2026-06-10AI 评分37
流匹配策略的RL训练新技巧
Diffusion (or flow) makes for excellent policies, but training them with RL is notoriously hard: BPTT is unstable, RL over diffusion blow...
AI 导读
扩散（或流）是非常出色的策略，但用强化学习训练它们出了名地困难：BPTT不稳定，基于扩散的RL会让horizon爆炸。 在我们的新论文中，我们展示了如何通过一个"奇怪的小技巧"优化流匹配actor——用单位矩阵"近似"流去噪过程的雅可比矩阵。👇
来源：Sergey Levine · x.com