HuggingFace Daily Papers·· 3 天前AI 评分58
FrontierCS 2:面向计算机科学研发的智能体基准发布
FrontierCS 2: A Benchmark for Computer Science R&D
AI 导读
研究者推出 FrontierCS 2 基准,包含 48 个开放性任务,做法是取一篇论文及其作者发布的代码、删去论文贡献部分,把删余代码作为人类参考基准。与只给问题描述并在运行后评一个程序的早期基准不同,FrontierCS 2 让智能体进入研究环境、继承可运行仓库并可随时提交补丁,评测器只返回开发套件分数,评估器、保留的最终套件和参考均保持私密。
来源:HuggingFace Daily Papers · huggingface.co