arXiv cs.AI· Ningxin Pan, Hanyu Li, Yeqing Shen, Ning Ding, Yehui Tang, Wentao Zhang·· 2 天前AI 评分39
RealtimeBench：在实时运行的游戏环境中评测与训练 LLM 智能体
The World Won't Wait: Evaluating and Teaching Agents Under a Live Clock
AI 导读
研究者推出 RealtimeBench，包含六类游戏共 180 个任务，在游戏持续运行、推理耗时的情况下评测 LLM 智能体。配对评测显示，GPT-6.1-sol 在游戏暂停时优于更快的 Jev，但游戏持续运行时反被 Jev 超越。
正文 · AI 翻译
摘要：大语言模型（LLM）智能体能够解决复杂的交互式任务，但推理和工具调用需要时间。在持续变化的环境中，一个本来正确的动作可能到达得太晚。我们提出 RealtimeBench，包含六种游戏类型的 180 个任务，用于在游戏于推理期间持续运行的情况下评估智能体。配对评估显示，当游戏暂停时，GPT-6.1-sol 优于更快的 Jev，但当游戏持续运行时则落后。我们提出双时间尺度离线递归自我改进（TORSI）：一个慢速教师在各次尝试之间研究失败并在暂停的游戏中测试修正，然后为快速学生编写可复用的指令。学生在游戏过程中无需调用教师即可行动，验证分数决定采用哪些更新。两轮迭代将 Jev 的平均测试分数从 13.51 提升到 24.19（0--100 进度量表），改善了全部六种游戏类型。这些指令还提升了另外三个模型的平均分数，且无需重新调优。这些发现指向实时智能：通过跨时间尺度组织深思、学习与行动，使强大的 LLM 智能体在持续变化的世界中保持有效。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.20665 [cs.AI] |
| （或 arXiv:2610.20665v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.20665 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Ningxin Pan [查看邮箱]
[v1]
2026年10月14日星期三 09:35:54 UTC（1,951 KB）
来源：arXiv cs.AI · arxiv.org