arXiv cs.AI· Yoshinari Fujinuma, Keisuke Kamahori, Ryuto Koike, Abdelrahman Madkour, Varun Prashant Gangal, Monty Bichouna, Martyna Markiewicz, Shivani Jain, Duncan Curtis, Rebecca Qian, Anand Kannappan·· 10 天前AI 评分32
SpeedrunBench：用电子游戏速通挑战 LLM 智能体
SpeedrunBench: Challenging LLM Agents with Video Game Speedrunning
AI 导读
研究者推出 SPEEDRUNBENCH，一个覆盖 9 款游戏的基准，用于评估前沿 LLM 智能体的策略形成能力。智能体需反复改进策略、反思表现并长程推理，以不断超越自己和他人。实验显示，前沿智能体在简单平台跳跃游戏中接近人类世界纪录，但在更长、更复杂的游戏上仍落后于人类表现。
正文 · AI 翻译
作者：Yoshinari Fujinuma、Keisuke Kamahori、Ryuto Koike、Abdelrahman Madkour、Varun Prashant Gangal、Monty Bichouna、Martyna Markiewicz、Shivani Jain、Duncan Curtis、Rebecca Qian、Anand Kannappan
摘要：前沿 LLM 智能体已被证明能够解决日益复杂的、人类已有可衡量解决方案的任务。这引出了一个关键问题：LLM 智能体能否超越人类已经解决的问题。当人类已开发的成熟解决方案不足以应对我们缺乏背景信息或足够训练数据的问题时，制定复杂策略以解决重要问题的能力就变得至关重要。我们通过电子游戏速通的社群实践来研究智能体形成此类策略的能力。在速通中，参与者竞相寻找在特定条件下完成电子游戏的最快方式，并在此过程中发现有趣的非常规玩法，这些玩法需要对底层游戏机制有透彻的理解和掌握。我们提出了 SPEEDRUNBENCH，一个评估前沿 LLM 智能体在 9 款不同游戏中表现的基准。为了在该基准中取得好成绩，智能体必须不断改进策略、反思自身表现、利用已获得的知识，并在长时程的行动中进行推理，以在一个日益困难的问题上取得进步：比自己以及所有人都更快。我们的实验表明，虽然前沿智能体在简单的平台跳跃游戏中接近人类世界纪录，但在实际预算下，它们在更长、更复杂的游戏中仍落后于人类表现。这些结果表明，SPEEDRUNBENCH 是研究智能体策略形成能力的有用测试平台，同时也是一种抗饱和的评估指标，因为几乎总有一个更快的完成时间等待被发现。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.08076 [cs.AI] |
| （或 arXiv:2610.08076v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.08076 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Yoshinari Fujinuma [查看电子邮件]
[v1]
2026年10月6日星期二 10:06:25 UTC（4,265 KB）
来源：arXiv cs.AI · arxiv.org