提出互补预测表征框架提升具身操作策略

Xiaoxu Xu 等提出一个两阶段框架，从多视角视频片段中学习互补的预测表征，以增强具身操作策略。预训练阶段用冻结的 3D 基础模型提供稠密几何特征，压缩为预测几何表征并优化以保留场景结构及其时序演化，再对几何转变施加动作监督以提取强调动作相关转变的运动表征；下游后训练阶段通过几何查询迁移预测几何，运动表征引导动作生成路径上的中间特征，未来观测仅作为训练期特权监督，推理时不需要。 论文称，在 LIBERO、LIBERO-Plus、SimplerEnv 及真实世界双臂与单臂任务上，该方法一致提升下游策略，其中 WidowX 评测绝对提升 10.4 个百分点。代码将开源。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。