跳到正文
热点事件持续更新

Scale AI与Elorian发布HSS基准,模型视觉直觉远逊人类

1 篇报道1 个报道来源8 小时前更新

先了解这件事

AI 综述

Scale AI联合Elorian发布新基准Humanity's Sixth Sense(HSS),在测试多模态模型直觉式视觉推理的评测中,20名人类参与者得分93.1%,榜首模型GPT-6-astra即使开到最大推理强度也只有53.6%,25个模型的中位数为30.9%。 HSS包含522道开放式任务,对应288张图片和234段视频;模型自由作答、无选项可排除,由Claude-Opus-5对照评分标准逐条打分,全部满足才算答对。研究团队测试了来自8家厂商的25个多模态模型。 在388题子集上,Claude-Opus-5从30.8%升至51.3%,Claude-Fable-5.1从41.2%升至57.7%;GPT-6-astra在Codex中于Agent设置下取得59.3%,是该设置下的最高成绩。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月17日
  1. 新智元 · 微信公众号
    Scale AI与Elorian发布HSS基准测视觉直觉:人类93.1%,最强模型GPT-6-astra仅53.6%

    Scale AI联合Elorian发布新基准Humanity's Sixth Sense(HSS),测试多模态模型的直觉式视觉推理:20名人类参与者得分93.1%,榜首GPT-6-astra开到最大推理强度也只有53.6%,25个模型中位数为30.9%。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。