arXiv cs.CL· Ruoyu Zhang, Zhaocen Liu, Weiyi Tian, Melissa Feng, Shilong Liu·· 11 小时前AI 评分38
OptionWorld：诊断 LLM 长期个人助理能力缺陷的基准测试
OptionWorld: A Benchmark for Diagnosing Failures of LLMs as Long-Term Personal Assistants
AI 导读
研究者推出 OptionWorld 基准，通过模拟日常任务追踪信息获取、判断、行动与结果，定位 LLM 作为长期个人助理的失败环节。在归档决策输入的运行中，35.5% 的失败实例里关键事实仍存在于模型截止前的最后一次输入中。失败分析显示三类最常见问题：所需信息未被获取或整合、可用的行动机会未被使用、智能体施加了任务并不要求的限制。
正文 · AI 翻译
摘要：长期助手必须在信息和情况不断变化的情况下，跨天跟进未完成的任务。然而，找到信息或开始一项行动，并不能确保任务得以完成。我们推出 OptionWorld，这是一个基准，通过追踪模拟日常任务中的信息获取、判断、行动和结果，来识别当前 LLM 作为长期个人助手时的不足之处。在使用存档决策输入的运行中，35.5% 的失败实例里，关键事实仍保留在截止时间前模型的最后一次输入中。失败分析识别出三个最常见的问题：所需信息未被获取或整合、可用的行动机会未被利用，以及智能体施加了任务并不要求的限制。三项后续实验表明：提供缺失事实在某些情况下可恢复任务成功；行动提醒可以重启工作，但后续步骤仍会错过截止时间；纠正一条错误禁止联系的提供笔记，可恢复被允许的询问。这些发现定位了在维持任务状态方面的不足：将事实与未完成工作关联、在截止时间前完成跟进，以及将实际限制与智能体的假设区分开来。
| 评论： | 31 页，3 张图 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.28491 [cs.CL] |
| （或 arXiv:2610.28491v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.28491 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Ruoyu Zhang [查看邮箱]
[v1]
2026 年 10 月 20 日星期二 16:38:43 UTC（848 KB）
来源：arXiv cs.CL · arxiv.org