跳到正文
arXiv cs.RO· Qi Chen, Yuwei Wu, Quan Chen, Kunpeng Gao, Jin Chen, Che Sun, Zhi Gao, Yunde Jia·· 2 小时前AI 评分60

CapPro:用单段人类视频引导 VLA 模型适配新操作任务

One-shot Human Video-Guided Adaptation for Vision-Language-Action Models

AI 导读

研究者提出 CapPro 框架,让视觉-语言-动作(VLA)策略仅凭一段人类演示视频就能适配此前未见的操作任务,无需目标任务的机器人演示或微调。该框架包含阶段感知的人类视频表示模块和视频条件适配模块,前者通过视觉 token 选择与阶段描述监督学习任务相关查询表示,后者将紧凑视频与查询表示注入预训练 VLA 策略的动作条件上下文。

来源:arXiv cs.RO · arxiv.org