arXiv cs.AI· Marta Kne\v{z}evi\'c, Seyed Parsa Neshaei, Jibril Frej, Vinitra Swamy, Tanja K\"aser·· 2 天前AI 评分26
如何评估 LLM 智能体的探究学习能力：假设、推理与探索
Evaluating Inquiry Learning in LLM-Based Agents: Hypothesizing, Reasoning, and Exploration
AI 导读
研究者提出一个统一交互式框架，用于评估 LLM 智能体的完整探究能力：将 Countdown 任务扩展为数学环境，让智能体通过操纵变量、收集观察来推断变量间关系。在 7 个 LLM 和多种提示策略下，实验显示模型固有探究能力有限、发现底层表达式的成功率偏低，但受教学脚手架启发的结构化引导能显著提升表现。
正文 · AI 翻译
摘要：科学探究涉及探索、假设生成以及对观察进行推理的迭代循环，以揭示复杂系统中的关系。大型语言模型（LLM）在这一过程的多个环节中已展现出强大能力，包括归纳推理、假设生成和数据分析。然而，以往工作通常孤立地评估这些能力，未能说明模型如何在整个探究循环中整合它们。在本工作中，我们提出了一个框架，用于在统一、交互式的环境中评估 LLM 的探究能力。我们将 Countdown 任务扩展到一个数学环境，其中智能体通过操纵变量、收集观察结果并推断它们之间的关系来探测系统。这一设置使得我们能够分析探究过程中的探索策略、因果发现和假设精炼。在七个 LLM 和多种提示策略上，我们的实验揭示了有限的固有探究能力，以及在发现底层表达式方面的低成功率。然而，受教学支架启发的结构化引导显著提升了表现。我们的发现凸显了 LLM 目前在策略性探索和迭代假设精炼方面的局限，并表明为人类学习者在探究学习中开发的简单引导策略可以支持更有效的探究行为。
| 评论： | EMNLP 2026 (Findings) |
| 主题： | 人工智能 (cs.AI) |
| 引用为： | arXiv:2610.21604 [cs.AI] |
| （或 arXiv:2610.21604v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.21604 arXiv 颁发的 DOI，经由 DataCite（待注册） |
提交历史
来自：Marta Knežević [查看电子邮件]
[v1]
2026年10月15日星期四 09:52:14 UTC（534 KB）
来源：arXiv cs.AI · arxiv.org