arXiv cs.CL· Yingqian Wu, Jingcong Liang, Shengbin Yue, Siyuan Wang, Zhenfei Yin, Junchi Yu, Zhongyu Wei·· 11 小时前AI 评分31
RAP：评估语言智能体预测研究热点的基准
RAP: Research Attention Prediction in Language Agents
AI 导读
研究者提出 Research Attention Prediction（RAP）基准，用 356,357 篇带日期的 arXiv 论文构建本地搜索环境，包含覆盖 54 个 AI/ML 领域的 2,160 道核心题和覆盖 269 个领域的扩展集。
正文 · AI 翻译
摘要：LLM 智能体越来越多地支持研究规划与执行，其中对当前和预期研究活动的判断会影响决策。然而，它们能否从通过在线学术搜索检索到的部分证据中推断出整个领域的变化，仍不清楚。我们提出了研究注意力预测（Research Attention Prediction，RAP），这是一个用于评估该能力的文献搜索基准。我们基于 356,357 篇带日期的 arXiv 论文构建了一个本地搜索环境，并构建了两个互补的评估任务。该基准包含一个核心集，涵盖 54 个 AI/ML 领域的 2,160 个问题，以及一个覆盖 269 个领域的扩展集。我们对 LLM 智能体的评估和分析表明，搜索显著提升了较强智能体对近期变化的识别能力，而预测方面的收益仍然有限或为负。智能体会跨日期更新预测，并根据预测目标调整其调查，但这些调整并不能可靠地产生对未来变化的准确预测。即使对于近期变化，最终判断也可能与检索到的论文所表明的内容不一致。这些发现表明，智能体能够识别某些近期变化，但尽管其答案和调查发生了变化，可靠地预判未来研究活动仍然困难。
| 评论： | 30 页，5 幅图 |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2609.10092 [cs.AI] |
| （或 arXiv:2609.10092v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2609.10092 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Yingqian Wu [查看电子邮件]
[v1]
2026 年 9 月 9 日星期三 12:15:14 UTC（1,831 KB）
[v2]
2026 年 11 月 1 日星期日 14:24:05 UTC（855 KB）
来源：arXiv cs.CL · arxiv.org