arXiv cs.RO· Keru Zhou, Zhirui Fang, Xinrun Xu, Yaopeng Lou, Zeyuan He, Zihao Zhu, Xinze Niu, Chen Wang, Tianfu Li, Samith Va, Bin Qian, Junwei Li, Wenjia Ding, Yicheng Xu, Chang Zhou, Ziwei Wang, Li Liu, Xiu Li, Maoqing Yao·· 4 小时前AI 评分58
Ego-CEVR：从人类第一视角视频学习跨本体视觉表征
Ego-CEVR: Learning Cross-Embodiment Visual Representations from Human Egocentric Videos
AI 导读
Ego-CEVR 提出一种数据原生的分层视觉表征学习框架，将全局表征与交互表征分配不同的学习目标。全局模块通过在第一视角视频上做未来预测，学习物体关系、任务状态和时间进度；交互模块结合全局上下文解读腕部观测，并通过机器人动作监督学习局部对齐与接触线索。两条残差路径把两种表征同时送入动作策略，全局视频模块可在大规模人类第一视角视频和多种机器人本体视频上独立预训练，无需机器人动作标签或配对的腕部观测。
来源：arXiv cs.RO · arxiv.org