VLM计数能力发展对齐评测研究

Yingxin Jia 等人提出一种基于发展心理学计数原则的免训练评测方法，在9个视觉-语言模型、682张图像和7种评测条件下审计模型的计数能力。结果显示，各模型的精确计数范围差异近两个数量级（R80从3到150个点），是模型特定的特征。 研究让模型在图像上打标记辅助计数，发现该方法作为干预大多失败：标记仅在小数量照片上帮助4个模型，会损害指向不精确的模型，且很少优于口头例程或盲点列表。该循环的价值在于留下可审计的串行推理痕迹，而非提升准确率。标签扰动实验显示，指向精确的模型会从标签读取答案，密集场景因遗漏而失败，模型看到自己的标签后很少修正答案。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。