多视角隐动作预训练提升跨本体机器人策略成功率

Oliver Hausdörfer 等提出可摄取同步多相机视角的隐动作模型（LAM）预训练方法，用于跨本体机器人视频学习，评估显示其下游策略成功率较单视角 LAM 提升 13.5%（单视角为 6.2%）。该方法用交叉注意力融合多视角以处理深度与遮挡，再压缩为隐动作，输入由潜在专家与动作专家在冻结 VLM 骨干上耦合的策略。 论文称，双视角 LAM 预训练使真实 6D 动作的可解码性较单视角提高 17%，而将单视角数据扩大两个数量级不足以完全恢复平面外运动；技能迁移只需一个跨本体机器人，加入第二个视角的效果优于再加入最多四个本体。结果在硬件上迁移，由人手演示的场景中成功率较仅动作策略提高 20%（850 次 rollout）。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。