AI研究团队自主发现线性注意力架构

Yujian Liu等作者发布论文，称其构建的由不同学科背景、持久化AI研究员组成的团队，在搜索线性注意力架构时，于1.3B规模的语言建模、常识推理以及合成与真实检索任务上，找到的架构优于GDN2。 该团队中每名AI研究员保留私有研究历史、共享实验证据，并通过自适应分配获得研究机会。作者称，对照实验显示：去掉学科背景会让搜索过早停滞，去掉私有历史会在相同共享证据下进展更少，统一选择策略在同等预算下不如自适应分配。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。