跳到正文
arXiv cs.AI· Jiajun Fan, Neil He, Changyi Yang, Andy Mao, Xi Zhu, Chaoran Cheng, Kaiqu Liang, Shuaike Shen, Zetian Li, Ruihan Guo, Ge Liu·· 4 小时前AI 评分71

语言模型可改写自身权重:27B 模型无梯度自我编辑提升准确率

Language Models Can Rewrite Their Own Weights

AI 导读

arXiv 论文提出“self-rewriting”,让 27B 模型在无梯度、无训练的情况下诊断自身失败并改写权重,在预先固定的 490 道未见题目上准确率提升 6.6 个点。

正文 · AI 翻译

作者:Jiajun Fan、Neil He、Changyi Yang、Andy Mao、Xi Zhu、Chaoran Cheng、Kaiqu Liang、Shuaike Shen、Zetian Li、Ruihan Guo、Ge Liu

查看 PDF HTML(实验性)

摘要:语言模型只训练一次,随后被冻结并部署:要再次改进它就得再进行一次训练,而提示词、脚手架或推理时的额外计算在任务结束后便不复存在。已有研究表明,一个前沿模型能够编辑一个小得多的模型的权重。我们追问:一个模型能否改写自身的权重以让自己变得更好?我们发现它可以,凭借自身的推理,无需梯度、无需训练;我们称之为自我改写。给定其权重、评分后的答案以及运行自身的能力,一个 27B 模型能诊断自身的失败并编辑其背后的权重。它超越了自己:在事先固定的测试中,它自己的编辑使其在 490 个从未见过的问题上准确率提高了 6.6 个百分点,而另一次会话的编辑也让它显著变好。它不断变得更好:只有当自己的测试支持时它才提交编辑,每次编辑都取代上一次,在其前八次此类会话中,其准确率只升不降。与测试时扩展不同,这种增益保留在其权重中,且不增加每次回答的成本;与训练不同,它不需要预训练或后训练基础设施,只需一个开放模型和在一块 GPU 上的数小时。它能修复自身受损的副本:它定位被损坏的矩阵,并用自己的数值重写它,从不读取未受损的权重;仅凭文本数学问题发现,该修复便使该副本在六个从未见过的图像基准上从 7% 的准确率提升到 70%,达到未受损模型的 83%。而且这种能力随规模涌现:在同一系列的四个规模中,2B 模型无法做出编辑,4B 和 9B 模型则把自己弄坏;只有 27B 模型能像人类一样对自身进行操作,比较其在完成回答和耗尽 token 的回答上的隐藏状态,削弱区分二者的方向。就像人类一样,模型无需将训练与推理分开;改进一个语言模型或许将只需一次对话,而非一次训练运行。
主题: 人工智能(cs.AI)
引用为: arXiv:2611.21885 [cs.AI]
  (或 arXiv:2611.21885v1 [cs.AI] 为此版本)
  https://doi.org/10.48550/arXiv.2611.21885

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Jiajun Fan [查看邮箱]
[v1] 2026年11月16日星期一 20:55:08 UTC(6,363 KB)

来源:arXiv cs.AI · arxiv.org