arXiv cs.RO· Yingxin Jia, Hui Geng, Wenxin Yang, Mohan Zhang·· 3 小时前AI 评分45
给模型一根手指：视觉-语言模型计数能力的发展对齐评测
Give the Model a Finger: Developmentally Aligned Evaluation of Counting in Vision-Language Models
AI 导读
一项针对9个视觉-语言模型、682张图像和7种评测条件的研究发现，模型的精确计数范围差异近两个数量级（R80从3到150个点）。研究通过免训练智能体循环让模型用图像标记辅助计数，发现该方法作为干预大多失败，但能生成可审计的串行推理痕迹，帮助揭示模型如何得出答案。实验还显示模型在遍历顺序反转时常改变答案，而儿童式的规则排列优势仅在特定条件下出现。
来源：arXiv cs.RO · arxiv.org