arXiv cs.AI· Detao Zeng, Guilin Ou, Nuo Chen, Yunhao Feng, Hongliang Wang, Qinli Yang, Junming Shao, Zhong Zhang·· 11 小时前AI 评分34
Async-RBench：评测 LLM 智能体的异步任务执行能力
Async-RBench: Benchmarking Asynchronous Task Execution in LLM Agents
AI 导读
研究者推出 Async-RBench，一个面向 LLM 智能体异步任务执行的基准，含 200 个可执行任务、覆盖 8 类场景，并用 Event Response Contract（ERC）规定每次响应须改变、保留、避免和重新验证的内容。
正文 · AI 翻译
摘要：大语言模型（LLM）智能体越来越多地以异步方式执行任务：主智能体在其子智能体运行时继续工作，任务状态可能在子智能体的结果到达之前发生变化。主智能体必须决定哪些工作要更新或保留、哪些检查要重复执行，同时避免被禁止的更改。仅凭最终任务成功与否无法揭示这些结果是否被正确处理，而自然的异步到达也难以复现。我们提出 Async-RBench，一个用于 LLM 智能体异步任务执行的基准，包含覆盖八种场景的 200 个可执行任务。场景控制器使用预定义的任务状态条件来调控结果的交付，而事件响应契约（ERC）则规定每次响应必须更改、保留、避免和重新验证的内容。动态重规划得分（DRS）对响应过程和结果给予同等权重，并与任务成功率分开报告。我们评估了九个智能体，发现 DRS 得分在 19.2 到 45.1 之间，在重复报告和子智能体失败上得分最低。在我们的执行协议下，全部九个智能体在异步交付下的任务成功率均低于批量交付（平均 26.0% 对 29.7%）。对于三个智能体，提示主智能体在每次结果后重建其计划仅使 DRS 提高 2.6 到 3.5 分。总之，这些发现凸显了可靠异步任务执行的挑战，以及需要评估智能体如何处理传入结果以及端到端任务成功率。
| 评论： | 25 页，16 幅图。代码可在 此 https URL 获取 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.32429 [cs.AI] |
| （或 arXiv:2610.32429v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.32429 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Detao Zeng [查看电子邮件]
[v1]
2026 年 10 月 23 日星期五 09:53:45 UTC（4,025 KB）
来源：arXiv cs.AI · arxiv.org