arXiv cs.AI· Weixian Xu, Yixiu Liu, Yang Nan, Lyumanshan Ye, Xiangkun Hu, Zhen Qin, Pengfei Liu·· 9 天前AI 评分52
ASI-Arch 通过自主进化发现 105 个线性注意力架构
Neural Architecture Discovery via Autonomous Evolution
AI 导读
论文提出 ASI-Arch，一个通过研究、实验、分析、更新闭环自主开展神经网络架构研究的系统。在线性注意力任务上，它运行了 1773 次迭代实验，发现 105 个 SOTA 架构，其中最佳架构相对 DeltaNet 的提升接近 Mamba2 所带来增益的三倍。论文还分析了框架各部分在这一高难度研究场景中的贡献，该工作已被 COLM 2026 接收。
正文 · AI 翻译
摘要：LLM 智能体的近期进展推动了自主研究的前景。然而，AI 能否完成困难的长时程任务，尤其是那些推动 AI 自身研究的任务，在很大程度上仍未被探索。我们提出 ASI-Arch，一个用于 AI 驱动 AI 研究的系统，它通过闭环的研究-实验-分析-更新过程自主开展神经网络架构研究。将其应用于线性注意力，ASI-Arch 运行了 1,773 次迭代实验，并发现了 105 个最先进的架构。其最佳架构相较于 DeltaNet 的提升幅度接近 Mamba2 所取得增益的三倍。除了最终性能提升之外，我们还分析了该框架不同部分在这一困难研究环境中的贡献，从而揭示是什么使复杂 AI 研究任务中的自主进展成为可能。
| 评论： | 44 页，6 幅图。被 COLM 2026 接收。定稿版本 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2507.18074 [cs.AI] |
| （或 arXiv:2507.18074v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2507.18074 arXiv 颁发的 DOI，经由 DataCite |
提交历史
来自：Weixian Xu [查看邮箱]
[v1]
2025 年 7 月 24 日星期四 03:57:27 UTC（2,130 KB）
[v2]
2026 年 10 月 8 日星期四 09:05:16 UTC（582 KB）
来源：arXiv cs.AI · arxiv.org