arXiv cs.AI· Hyunjong Ok, Jaeho Lee·· 4 小时前AI 评分34
无需 Transformer:LLM 直接编写权重时更倾向稀疏表结构
Weight-Space Programming Doesn't Need Transformers
AI 导读
研究让三个前沿 LLM 在无梯度训练条件下直接生成权重或自行设计架构,结果三者均将纯文本事实编译为稀疏表并用固定流程查询,测试准确率最高达 54.4%。LLM 自行设计的模型准确率超过同一 LLM 手写权重的最准 Transformer,参数量少约 1,800 倍。作者据此提出基于联想记忆的模型,在 GPU 上比同尺寸 Transformer 快最多 17 倍。
正文 · AI 翻译
摘要:标准神经网络架构(如 Transformer)之所以被选用,是因为它们用梯度下降训练效果好,且在 GPU 上运行速度快。在权重空间编程中,大语言模型(LLM)手工写出目标权重,不进行基于梯度的训练,因此上述理由不再适用。我们还应保留 Transformer 吗?在极少指导、十个标注示例和一个沙箱环境下,主要针对多项选择题,我们让三个前沿 LLM 要么生成固定架构的权重,要么自行设计架构。当可以自由设计时,三者都将纯文本事实编译成一张稀疏表,由固定过程查询,测试准确率最高达 54.4%。一个由 LLM 设计的模型,其测试准确率高于同一 LLM 编写的最准确的已发布 Transformer,而参数量约少 1,800 倍。在没有梯度的情况下,它们选择一张表,LLM 可以在其中说明每个权重的含义,并能找到并重写错误的权重。每个错误答案指向一行,删除一行大约会改变另一个答案。由此,我们提出一种基于联想记忆的模型,在 GPU 上比同等大小的 Transformer 快至多 17 倍。我们还测试了预训练权重、其他基准以及模型生成答案的任务。预训练 LLM 仍然更准确;这一主张关注的是在编写权重时应构建哪种结构。
| 评论: | 预印本(进行中的工作) |
| 主题: | 机器学习(cs.LG);人工智能(cs.AI);计算与语言(cs.CL) |
| 引用为: | arXiv:2611.22055 [cs.LG] |
| (或 arXiv:2611.22055v1 [cs.LG] 为此版本) | |
| https://doi.org/10.48550/arXiv.2611.22055 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Hyunjong Ok [查看邮箱]
[v1]
2026年11月17日星期二 01:33:13 UTC(253 KB)
来源:arXiv cs.AI · arxiv.org