HuggingFace Daily Papers·· 23 天前AI 评分45
FocusGUI:面向全模态 GUI 智能体的聚焦感知适配器
Focused Omni-Modal GUI Agents
AI 导读
FocusGUI 提出一种轻量适配器,通过按步动态加权多模态通道、将关键证据压缩为紧凑潜变量并注入冻结解码器嵌入,实现全模态 GUI 智能体的聚焦感知。在四个全模态骨干模型上,其相对冻结骨干平均将 Type Match 提升 33.2、Exact Match 提升至 3.0 倍,Type Match 较最强现有增强方法提升 30.1。训练仅依赖动作监督,无需模态相关性标注或骨干微调。
来源:HuggingFace Daily Papers · huggingface.co