跳到正文
HuggingFace Daily Papers·· 1 天前AI 评分50

AdaExploreBench:评测 LLM 智能体在演化环境中的主动探索与测试时适应

AdaExploreBench: Benchmarking LLM Agents for Proactive Exploration and Test-time Adaptation in Evolving Environments

AI 导读

AdaExploreBench 提出一个评测基准,用隐藏规则实例化环境动态,要求 LLM 智能体主动获取证据推断规则,并在隐式规则漂移下检测旧知识失效后重新探索。对八个领先 LLM 的实验显示,GPT-6 Sol 校准准确率仅 61.9%;提供充足证据或移除规则漂移可使平均表现提升接近 10%。结果表明智能体能基于有效证据推理,却难以主动获取证据并识别证据何时失效。

来源:HuggingFace Daily Papers · huggingface.co