arXiv cs.CL· Shangyin Tan, Ben Zhou, Lakshya A Agrawal, Jialin Zhang, Yilin Chen, Qiuyang Mang, Donghyun Lee, Dennis Jacob, Koushik Sen, Alex Dimakis, Matei Zaharia·· 3 天前AI 评分42
让 LLM 智能体学会遗忘：扩展自动研究发现需定期丢弃搜索状态
Scaling Discovery Requires Forgetting
AI 导读
LLM 智能体做自动研究时，无论单智能体长迭代、多智能体并行还是并行加通信，都会因历史累积而陷入停滞，编辑越来越少、越来越小。论文提出"遗忘"机制：定期丢弃所有智能体的会话与候选历史，从当前最优候选重启，在启发式编程、内核优化和模型训练四类任务上比并行智能体提升最高 15%，比单智能体提升最高 39%。
正文 · AI 翻译
作者：Shangyin Tan、Ben Zhou、Lakshya A Agrawal、Jialin Zhang、Yilin Chen、Qiuyang Mang、Donghyun Lee、Dennis Jacob、Koushik Sen、Alex Dimakis、Matei Zaharia
摘要：使用 LLM 智能体的自动化研究已在多个领域展现出良好前景。通过迭代优化和带评分的验证器，LLM 智能体能够发现新想法。扩展自动化研究有多种方式：让单个智能体迭代更长时间、并行运行多个智能体，或进一步让并行智能体相互交流并基于彼此的候选方案继续构建。然而，我们发现，随着智能体不断积累历史记录，这三种策略最终都会陷入停滞。每个智能体都被锚定在自己过去的尝试上，做出的修改越来越少、越来越小。超过这一点后，额外的预算几乎带不来进一步改进。在本文中，我们表明，进一步扩展发现的关键在于遗忘。定期丢弃搜索状态，包括每个智能体的会话和候选历史，并从目前找到的最佳候选方案重新开始，能够解除搜索的阻塞，让同样的预算发挥更大作用。
我们在一个具备交流能力的智能体团队中实现了遗忘机制，并在涵盖启发式编程、内核优化和模型训练的四项任务上进行了评估。结果显示，与并行智能体相比，性能提升最高达 15%，与单个智能体相比提升最高达 39%。我们的结果表明，对于开放式发现而言，允许智能体记住什么，与给它多少算力同样重要。
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.20563 [cs.AI] |
| （或 arXiv:2610.20563v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.20563 arXiv 颁发的 DOI，经由 DataCite（待注册） |
提交历史
来自：Shangyin Tan [查看电子邮件]
[v1]
2026年10月14日星期三 17:49:37 UTC（114 KB）
来源：arXiv cs.CL · arxiv.org