跳到正文
arXiv cs.AI· Mostafa 'Neo' Mohsenvand·· 4 小时前AI 评分58

Attention at Absolute Zero:零温度读取 witness 的高阶注意力层

Attention at Absolute Zero

AI 导读

Mostafa 'Neo' Mohsenvand 提出一种高阶注意力层,其状态建立在成对条目上,以零温度读取 witness,只保留最优项及并列计数,并仅从答案训练。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:注意力对答案的候选支撑进行打分,我们称之为见证,并在某一温度下读取这些分数。我们构建了一个高阶注意力层,其状态存在于成对的项目上:对于一对 (a, b),每个第三项 k 都是一个见证,通过其两条腿 (a, k) 和 (k, b) 来评判。它在零温度下读取见证,保留最佳者以及与其并列的数量,只传递比较此类计数的比特,在每次循环时从输入和这些比特重建其成对状态,并且仅从答案中训练。每个选择都消除了软注意力在规模上失效的一种方式:权重分散、学习分数之间未解决的差距,以及漂移的软状态。在最大检索中,它在所有十个种子上,对规模比训练时大 1,000 倍的集合至少有 99.95% 的正确率;用软计数训练时,同一网络在 4,096 个项目上降至 42%。在无提示的 CLRS-30 上,该层的一种通用形式(其一半通道在零温度下读取、数字被嵌入、状态被携带)击败了最佳已发表模型,后者在某些任务上使用了提示;完整的冷层在 12 个任务中的 9 个任务的每个测试输入上都是精确的,这些任务的答案仅通过比较依赖于数字。从是或否的答案中,它在 500 个变量上精确判定 2-SAT 和二着色,并且正如我们的理论所预测,不能判定奇偶方程。在一个冻结的 7B 语言模型旁边,它在训练 16 条陈述后,在 1,000 条陈述上精确地链接家庭关系,而单独模型降至 44%;对权重的有限检查证明,每个学习到的块在每个规模上、在无环上下文上以及给定模型所读取的内容时都是正确的。在 CLUTRR 上,给定图,它在每个包含五到十个关系的每个故事上都是正确的,精确学习 62 条规则;从文本中,在模型冻结、没有手写规则且仅训练一个小型读入的情况下,它将一个开放的 7B 模型从 33% 提升到 65%,高于我们找到的除前沿推理模型外所有没有手写规则的系统。
评论: 51 页,9 幅图,1 幅扩展数据图,4 张补充表。替代 v1,“注意力仅与其见证一样好”。代码(Apache 2.0):此 https URL ;演示:此 https URL ;模型:此 https URL
主题: 机器学习 (cs.LG);人工智能 (cs.AI);神经与进化计算 (cs.NE)
引用为: arXiv:2611.11937 [cs.LG]
  (或此版本的 arXiv:2611.11937v2 [cs.LG])
  https://doi.org/10.48550/arXiv.2611.11937

由 DataCite 颁发的 arXiv DOI

提交历史

来自:Mostafa 'Neo' Mohsenvand [查看电子邮件]
[v1] 2026 年 11 月 9 日星期一 06:08:10 UTC(1,792 KB)
[v2] 2026 年 11 月 17 日星期二 14:14:46 UTC(1,719 KB)

来源:arXiv cs.AI · arxiv.org