arXiv cs.RO· Eadom Dessalene, Michael Maynord, Amir-Hossein Shahidzadeh, Botao He, Yasamin Tabatabaee, Ruoshi Liu, Ruohan Gao, Paul Pu Liang, Yiannis Aloimonos·· 8 天前AI 评分67
MotorSense 发布首个大规模自我中心视频与肌电配对数据集
MotorSense: A Video-EMG Dataset of Motoric Representations for Action Understanding
AI 导读
MotorSense 是首个大规模自我中心视频与表面肌电（EMG）配对数据集，包含 100 小时无脚本操作中的同步视频、双臂 EMG、IMU 和音频。研究利用该数据做视频与 EMG 跨模态预训练，学习视觉与运动空间共享的动作组织，并迁移到动作识别、3D 手部重建和 3D 接触重建等任务。在四类动作相关视觉任务和八个视频数据集上，这种感知运动对齐的表征均优于传统视频自监督方法。
来源：arXiv cs.RO · arxiv.org