HuggingFace Daily Papers·· 2 天前精选AI 评分78
SWAM:用跨模态对齐扩展世界动作模型
SWAM: Scaling World Action Models with Cross-Modal Alignment
AI 导读
SWAM 研究世界动作模型在引入动作学习后如何维持语言-视频对齐,整理了约 47,000 小时通用视频、第一视角视频、UMI 演示和机器人演示数据,系统比较语言-视频监督、语言-视频-动作监督及两者联合使用的效果。
推荐理由
原文系统比较了语言-视频与动作监督的组合方式,并给出跨模态对齐在动作学习中的训练配方与实机泛化结果。
来源:HuggingFace Daily Papers · huggingface.co