arXiv cs.AI· Yiwei Chen, Amila Weerasinghe, Siddharth Biswal, Utkrisht Rajkumar, Olcay Boz, Taylor Berg-Kirkpatrick, Rose Yu·· 3 天前AI 评分31
ACED-Bench：评估 LLM 智能体如何获取并依据因果证据行动
ACED-Bench: Evaluating How LLM Agents Acquire and Act on Causal Evidence
AI 导读
研究者推出 ACED-Bench，一个神经符号基准，用于评估 LLM 智能体能否主动设计实验、解读有限证据并做出因果决策。其主榜单 ACED-CORE 含 180 项任务（60 项因果祖先/后代集合问题、120 项受限因果决策任务），另有 150 题的 ACED-QUAL 资格检查。
正文 · AI 翻译
摘要：大型语言模型越来越多地被用作科学助手，但我们仍缺乏可靠的方法来评估它们能否研究一个系统，而不仅仅是回答一个提示。一个有用的评估必须让智能体选择实验、解读有限证据并做出因果决策，同时在重复观察和干预中保持环境一致，并保留客观的真值。我们提出了 ACED-BENCH（主动因果证据与决策基准），一个围绕这一需求构建的神经符号基准。其核心思想是将可读的科学表层与形式化的因果世界分离：LLM 生成自然语言场景和任务文本，而隐藏的概率图模型定义因果图、数据生成过程、干预语义、验证检查和预言机答案。这产生了对智能体来说自然可研究、但又足够精确以进行可扩展的程序化评估的科学世界。主排行榜 ACED-CORE 包含 180 个任务：60 个集合值因果祖先/后代问题和 120 个约束因果决策任务。我们还报告了 ACED-QUAL，一个使用相同隐藏 PGM 接口的 150 题是/否资格检查。我们在三种主动智能体设计下评估了七个当代 LLM 和两个早期世代模型。ACED-QUAL 检查智能体能否使用该接口从证据中得出结论，而 ACED-CORE 测试它们能否决定收集哪些证据以及何时提交答案。证据账本分析将失败定位在调查过程中：智能体测试了错误的干预、丢失了相关证据，或在已出现充分证据后仍继续。这些结果表明，可靠的 AI 共同科学家需要对实验设计、证据保留、答案提交和停止的明确支持。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.14381 [cs.AI] |
| （或使用 arXiv:2610.14381v1 [cs.AI] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2610.14381 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yiwei Chen [查看邮箱]
[v1]
2026年10月9日星期五 23:01:57 UTC（424 KB）
来源：arXiv cs.AI · arxiv.org