HuggingFace Daily Papers·· 11 天前AI 评分58
BestRand 提出稳定低成本的基准压缩方法,并扩展至 VLA 评测
Random Is Almost Enough? Stable and Low-Cost Benchmark Compression via BestRand
AI 导读
BestRand 是一种稳定且低成本的基准压缩方法,通过降低随机采样中高误差的长尾风险,在 70 多个文本、多模态和智能体基准上验证,并扩展至 VLA 评测。相比对比方法,其高误差风险降低 50.2%、估计误差平均降低 16.4%,构建成本仅为 51.3%。作者还推导了子集估计全基准分数时误差分布的解析近似,指出随机采样多数情况下误差较小但存在罕见大误差。
来源:HuggingFace Daily Papers · huggingface.co