arXiv cs.CL· Anirudh Phukan, Tanya Goyal, Danish Pruthi·· 10 小时前AI 评分58
BlindToChange：AI 智能体被问时能找到变化，需要时却不主动查
BlindToChange: AI Agents Can Find Changes When Asked But Do They Look When Needed?
AI 导读
Anirudh Phukan、Tanya Goyal 和 Danish Pruthi 提出基准 BlindToChange，衡量 AI 智能体是否会主动发现影响回答的近期事件。
正文 · AI 翻译
摘要：鉴于 AI 智能体能够实时广泛而深入地搜索网络，人们很容易得出这样的结论：它们的输出涵盖了近期世界事件。我们表明，这一结论在实践中并不成立。虽然智能体可以搜索并轻松找到近期变化，但其回答的正确性取决于它们是否搜索以及搜索什么。像 BrowseComp 这样流行的智能体搜索基准无法暴露智能体未认识到自身应被验证的假设这类失败，因为这些基准明确说明了需要查找的内容。相比之下，许多用户请求只陈述最终的信息需求（例如，一次旅行的行程），让智能体去发现相关变化（例如，博物馆临时闭馆）并考虑其后果。为了突出这类差距，我们推出了 BlindToChange，一个衡量智能体是否主动发现影响其回答的近期事件的基准。我们的基准包含推荐请求，其中显而易见的候选对象因近期真实世界事件而不再适用。这些事件自动从 Wikidata 中提取，使 BlindToChange 能够定期刷新。引人注目的是，我们发现系统性能存在巨大差距——即使在高推理努力下也高达 27.5 分——在未明确提及近期事件时与直接询问该事件时相比。通过分析搜索轨迹，我们了解到超过一半的失败可归因于智能体没有直接搜索以验证相关事实是否已发生变化。我们的基准突出并追踪了一个新的进展维度，即系统考虑用户请求中未明确提及的近期信息。
| 评论： | 预印本 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.41435 [cs.CL] |
| （或 arXiv:2610.41435v1 [cs.CL] 为此版本） | |
| https://doi.org/10.48550/arXiv.2610.41435 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Anirudh Phukan [查看电子邮件]
[v1]
2026年10月30日星期五 08:39:22 UTC（256 KB）
来源：arXiv cs.CL · arxiv.org