arXiv cs.RO· Kushagra Tiwary, David Mayo, Nikhil Behari, Xiangzhou Sun, Abdulrahman Alabdulkareem, Isaac Galatzer-Levy, Boris Katz, Brian Cheung·· 3 小时前AI 评分62
ArtifactArena：用模型在物理世界构建的机器人来评测模型
ArtifactArena: Evaluating Models by What They Build in the Physical World
AI 导读
ArtifactArena 是一个开放式评测平台，让模型面对软硬件协同设计挑战，在仿真竞技场中构建可运行的机器人并互相对战。平台通过文本描述、物理仿真器反馈和对战数据三种方式引导模型改进机器人产物，并用头对头锦标赛产生的 Elo 排名比较前沿模型。作者开放框架与锦标赛基础设施，供社区持续提交，形成不饱和的长期测试平台。
来源：arXiv cs.RO · arxiv.org