OdysseyArena：面向长时程、主动与归纳式交互的大语言模型基准测试
OdysseyArena: Benchmarking Large Language Models For Long-Horizon, Active and Inductive Interactions
研究者推出 OdysseyArena，将 LLM 智能体评测重心转向长时程、主动与归纳式交互，并形式化实例化四种原语。其中 OdysseyArena-Lite 提供 120 项任务衡量归纳效率与长时程发现能力，OdysseyArena-Challenge 则在超过 200 步的极端交互时程下压测稳定性。对 15+ 个领先 LLM 的实验显示，即便前沿模型在归纳场景中仍存在明显不足。
作者：Fangzhi Xu、Hang Yan、Qiushi Sun、Jinyang Wu、Zixian Huang、Muye Huang、Jingyang Gong、Zichen Ding、Kanzhi Cheng、Yian Wang、Xinyu Che、Zeyi Sun、Jian Zhang、Zhangyue Yin、Haoran Luo、Ben Kao、Qika Lin
摘要：大语言模型（LLMs）的进步推动了能够在复杂环境中自主导航的自主智能体的发展。然而，现有评估主要采用演绎范式，即智能体基于明确提供的规则和静态目标执行任务，且通常规划视野有限。关键在于，这忽视了智能体从经验中自主发现潜在转移规律的归纳必要性，而这正是实现智能体前瞻能力和维持战略连贯性的基石。为弥合这一差距，我们提出 OdysseyArena，将智能体评估重新聚焦于长视野、主动且归纳式的交互。我们形式化并实例化了四种原语，将抽象的转移动态转化为具体的交互环境。在此基础上，我们建立了 OdysseyArena-Lite 用于标准化基准测试，提供 120 个任务来衡量智能体的归纳效率和长视野发现能力。更进一步，我们推出 OdysseyArena-Challenge，以在极端交互视野（例如 > 200 步）下对智能体稳定性进行压力测试。对 15+ 个领先 LLMs 的大量实验表明，即使是前沿模型在归纳场景中也表现出不足，揭示了在复杂环境中追求自主发现的关键瓶颈。项目主页：this https URL
| 评论： | 38 页。更新了作者顺序并添加了项目主页 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2602.05843 [cs.CL] |
| （或 arXiv:2602.05843v3 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2602.05843 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Hang Yan [查看邮箱]
[v1]
2026年2月5日星期四 16:31:43 UTC（6,260 KB）
[v2]
2026年6月4日星期四 17:59:52 UTC（4,931 KB）
[v3]
2026年10月24日星期六 10:26:13 UTC（4,940 KB）
来源：arXiv cs.CL · arxiv.org