HuggingFace Daily Papers·· 1 天前AI 评分50
AdaExploreBench:评测 LLM 智能体在演化环境中的主动探索与测试时适应
AdaExploreBench: Benchmarking LLM Agents for Proactive Exploration and Test-time Adaptation in Evolving Environments
AI 导读
AdaExploreBench 提出一个评测基准,用隐藏规则实例化环境动态,要求 LLM 智能体主动获取证据推断规则,并在隐式规则漂移下检测旧知识失效后重新探索。对八个领先 LLM 的实验显示,GPT-6 Sol 校准准确率仅 61.9%;提供充足证据或移除规则漂移可使平均表现提升接近 10%。结果表明智能体能基于有效证据推理,却难以主动获取证据并识别证据何时失效。
来源:HuggingFace Daily Papers · huggingface.co