arXiv cs.RO· Xiaoxu Xu, Hao Li, Hongtao Zhang, Yili Tang, Jiafei Cao, Junhao Cai, Haoxiang Ma, Weixin Li, Weinan Zhang·· 3 小时前AI 评分55
从预测几何到动作：为具身操作学习互补预测表征
From Predictive Geometry to Action: Learning Complementary Predictive Representations for Embodied Manipulation
AI 导读
论文提出一个两阶段框架，从多视角视频片段中学习互补的预测表征以增强具身操作策略。预训练阶段用冻结的3D基础模型提供稠密几何特征，压缩为预测几何表征并优化以保留场景结构及其时序演化，再对几何转变施加动作监督以提取强调动作相关转变的运动表征；下游后训练阶段通过几何查询迁移预测几何，运动表征引导动作生成路径上的中间特征，未来观测仅作为训练期特权监督，推理时不需要。
来源：arXiv cs.RO · arxiv.org