跳到正文
RadarAI· X:Rohan Paul (@rohanpaul_ai)·· 3 天前AI 评分64

MIT 研究让 GPT-6 Astra 无需训练直接改写 Qwen3.5-0.8B 权重提升数学表现

AI 导读

MIT CSAIL 研究者演示了 Weight-Space Programming:GPT-6 Astra 无需训练或梯度,直接读写神经网络权重,把 Qwen3.5-0.8B 在 MATH-500 上的成绩从 7.9% 提升到 48.1%,仅改动 0.016% 的权重。

正文 · AI 翻译

Rohan Paul· @rohanpaul_ai · X·2026-11-03 04:17· 56 分钟前AI 评分63

AI 导读

MIT CSAIL 研究者演示了 GPT-6 Astra 无需训练或梯度、直接读写神经网络权重的方法,称为 Weight-Space Programming。

正文 · 原文

重大突破。MIT 研究者展示 GPT-6 Astra 能直接修改另一个 AI 模型的权重来提升其性能,无需训练。

在此,GPT-6 Astra 通过编辑 Qwen3.5-0.8B 0.016% 的权重,在无需训练的情况下,将其在 MATH-500 上的成绩从 7.9% 提升到 48.1%。

Astra 在 Python notebook 中获取了 Qwen 的权重,并获得了在练习数学题上进行 50 次测试运行的预算。它发现该模型不断重复自身,直到达到长度限制,并将这一习惯追溯到由其 2 层写入的单一内部信号,然后从权重中减去该信号。

循环消除后,模型能够完成它本已具备求解能力的答案。

这一次针对性编辑改变了 0.016% 的权重,将数学准确率从 7.9% 提升到 48.1%。

引用Rikiya Takehi@rikiyatakehi
我们让 GPT-6 Astra 编辑 Qwen3.5-0.8B 的权重以提升数学能力。 它仅直接修改了 0.016% 的权重,修复了 0.8B 的推理循环,将数学能力提升至多 6 倍,指令遵循能力甚至提升 3 倍,全程无需梯度或训练。 我们将此称为 Weight-Space Programming:前沿 LLM 现在可以原生读写神经网络权重!🧵 博客:https://rikiyat.github.io/blog/weight-space-programming/
在 X 查看被引用的帖子

来源:Rohan Paul · x.com

来源:RadarAI · aihot.news