Scale AI与Elorian发布HSS基准,模型视觉直觉远逊人类
热点事件持续更新
Scale AI与Elorian发布HSS基准,模型视觉直觉远逊人类
1 篇报道1 个报道来源8 小时前更新
先了解这件事
AI 综述
Scale AI联合Elorian发布新基准Humanity's Sixth Sense(HSS),在测试多模态模型直觉式视觉推理的评测中,20名人类参与者得分93.1%,榜首模型GPT-6-astra即使开到最大推理强度也只有53.6%,25个模型的中位数为30.9%。 HSS包含522道开放式任务,对应288张图片和234段视频;模型自由作答、无选项可排除,由Claude-Opus-5对照评分标准逐条打分,全部满足才算答对。研究团队测试了来自8家厂商的25个多模态模型。 在388题子集上,Claude-Opus-5从30.8%升至51.3%,Claude-Fable-5.1从41.2%升至57.7%;GPT-6-astra在Codex中于Agent设置下取得59.3%,是该设置下的最高成绩。
AI 根据报道生成 · 2 小时前更新
最新进展10月17日 12:22
Scale AI与Elorian发布HSS基准测视觉直觉:人类93.1%,最强模型GPT-6-astra仅53.6%报道时间线
沿着报道,了解事件的不同侧面。
10月17日
- 新智元 · 微信公众号Scale AI与Elorian发布HSS基准测视觉直觉:人类93.1%,最强模型GPT-6-astra仅53.6%
Scale AI联合Elorian发布新基准Humanity's Sixth Sense(HSS),测试多模态模型的直觉式视觉推理:20名人类参与者得分93.1%,榜首GPT-6-astra开到最大推理强度也只有53.6%,25个模型中位数为30.9%。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。