AnchorQ 用流反转锚点提升机器人策略强化学习样本效率

Carl Qi 等研究者在 arXiv 提出 AnchorQ 方法，用于冻结的流匹配机器人策略的后训练改进：每个决策步用流反转把参考策略行为映射为状态条件化的潜变量锚点，在锚点附近采样粒子并用价值引导采样做由粗到精的策略改进。论文称，在仿真与真实操作任务上，AnchorQ 在相同交互预算下样本效率超过现有后训练基线，真实世界成功率提升 37%，仿真任务吞吐量提升 97%。 论文分析指出，锚点降低了识别复杂度但引入支撑偏差，粒子精化在该偏差与动作类复杂度之间权衡，critic 精度决定 KL 正则价值引导选择的可靠性。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。