arXiv cs.CL· Yujian Liu, Li An, Zelin He, Jacob Helwig, Jiabao Ji, Rohit Jain, Siyu Zhu, Shiyu Chang·· 12 小时前AI 评分52
构建 AI 研究团队自主发现线性注意力架构
Building AI Research Teams for Autonomous Discovery of Linear Attention Architectures
AI 导读
研究团队构建了一支由不同学科背景的持久化 AI 研究员组成的团队，成员各自保留私有研究历史、共享实验证据，并通过自适应分配获得研究机会，用于搜索线性注意力架构。在 1.3B 规模的语言建模、常识推理以及合成与真实检索任务上，该团队发现的架构优于 GDN2。对照实验显示，去掉学科背景会让搜索过早停滞，去掉私有历史会在相同共享证据下进展更少，统一选择策略在同等预算下不如自适应分配。
正文 · AI 翻译
摘要：自主智能体越来越能够提出想法、修改代码并运行实验，这为利用协作式 AI 研究者团队加速科学发现创造了机会。为了在发现过程中摆脱局部最优，我们提出通过组建具备不同专业知识的智能体团队来鼓励正交探索。然而，实现这一设计所需的不仅仅是多元背景。当实验成本高昂时，团队只能测试有限数量的想法，因此在选择一部分研究者来提出并执行新实验时，需要在探索与利用之间取得平衡。此外，每个结果都应影响团队下一步的尝试。因此，我们提出疑问：具有不同科学背景的 AI 研究者如何能够基于彼此的发现继续推进，并在有限的实验预算下保持进展？为应对这些挑战，我们组建了一支持续存在的 AI 研究者团队，每位成员都扎根于不同学科，他们保留各自的私人研究历史、共享实验证据，并通过自适应分配获得研究机会。我们通过将该团队部署于线性注意力架构的搜索来证明这一设计的有效性，在 1.3B 规模下，该团队在语言建模、常识推理以及合成和真实世界检索任务上均优于 GDN2。在受控比较中，从我们的设计中移除任何一个组织组件都会导致发现成果明显变弱：没有学科背景时，搜索会过早停滞；没有私人历史时，尽管共享证据完全相同，研究者的进展也会更少；在相同预算下，统一选择不如自适应分配。这些结果表明，持续的自主发现不仅取决于更强的智能体，还取决于由谁探索、他们记住什么，以及研究精力如何分配。
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.28887 [cs.CL] |
| （或 arXiv:2610.28887v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.28887 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yujian Liu [查看电子邮件]
[v1]
2026年10月20日星期二 20:09:31 UTC（10,233 KB）
来源：arXiv cs.CL · arxiv.org