跳到正文
arXiv cs.AI· Hyunjong Ok, Jaeho Lee·· 4 小时前AI 评分34

无需 Transformer:LLM 直接编写权重时更倾向稀疏表结构

Weight-Space Programming Doesn't Need Transformers

AI 导读

研究让三个前沿 LLM 在无梯度训练条件下直接生成权重或自行设计架构,结果三者均将纯文本事实编译为稀疏表并用固定流程查询,测试准确率最高达 54.4%。LLM 自行设计的模型准确率超过同一 LLM 手写权重的最准 Transformer,参数量少约 1,800 倍。作者据此提出基于联想记忆的模型,在 GPU 上比同尺寸 Transformer 快最多 17 倍。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:标准神经网络架构(如 Transformer)之所以被选用,是因为它们用梯度下降训练效果好,且在 GPU 上运行速度快。在权重空间编程中,大语言模型(LLM)手工写出目标权重,不进行基于梯度的训练,因此上述理由不再适用。我们还应保留 Transformer 吗?在极少指导、十个标注示例和一个沙箱环境下,主要针对多项选择题,我们让三个前沿 LLM 要么生成固定架构的权重,要么自行设计架构。当可以自由设计时,三者都将纯文本事实编译成一张稀疏表,由固定过程查询,测试准确率最高达 54.4%。一个由 LLM 设计的模型,其测试准确率高于同一 LLM 编写的最准确的已发布 Transformer,而参数量约少 1,800 倍。在没有梯度的情况下,它们选择一张表,LLM 可以在其中说明每个权重的含义,并能找到并重写错误的权重。每个错误答案指向一行,删除一行大约会改变另一个答案。由此,我们提出一种基于联想记忆的模型,在 GPU 上比同等大小的 Transformer 快至多 17 倍。我们还测试了预训练权重、其他基准以及模型生成答案的任务。预训练 LLM 仍然更准确;这一主张关注的是在编写权重时应构建哪种结构。
评论: 预印本(进行中的工作)
主题: 机器学习(cs.LG);人工智能(cs.AI);计算与语言(cs.CL)
引用为: arXiv:2611.22055 [cs.LG]
  (或 arXiv:2611.22055v1 [cs.LG] 为此版本)
  https://doi.org/10.48550/arXiv.2611.22055

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Hyunjong Ok [查看邮箱]
[v1] 2026年11月17日星期二 01:33:13 UTC(253 KB)

来源:arXiv cs.AI · arxiv.org