跳到正文
热点事件持续更新

Astra 改写权重实验遭质疑

19 篇报道6 个报道来源3 小时前更新

先了解这件事

AI 综述

MIT CSAIL 博士生 Rikiya Takehi 团队提出 Weight-Space Programming,称 GPT-6 Astra 无需梯度下降或训练,直接读写神经网络权重,仅改动 Qwen3.5-0.8B 约 0.016% 的权重,就把 MATH-500 从 7.9% 提升到 48.1%、GSM8K 从 13.8% 提升到 67.1%,指令遵循提升 3 倍;在 MinAtar 实验中,Astra 用 50 轮迭代、每轮最多 128 局练习,击败了训练约 2000 万局的同规模模型。 后续质疑指出,这些结果被混为一谈:真正只读取原始权重的实验仅限 17K–172K 参数的小网络;Qwen 的成绩提升依赖为 Astra 提供可读写权重的 Python 环境,并允许其用 GSM8K 和 MATH 训练集题目做最多 50 轮前向推理,并非“仅看原始权重”完成。spaCy 作者 Matthew Honnibal 公开质疑该研究存在严重误导,称论文实际呈现的是三项不同能力,宣传的技术路径与真实实验设置不符。 研究本身也显示局限:推理循环未被完全消除,仍有三分之一回答触及最大文本长度(原为 93%);对很少陷入循环的 Gemma 3 270M,Astra 未能带来可测量的提升。Simon Willison 用 Qwen 3.8 27B 在笔记本上复现“猜游戏”实验,识别出 Pac-Man、Pong、Breakout,Freeway 失败。

AI 根据报道生成 · 24 分钟前更新

事件进展

8 个进展

  1. 11月5日 15:10 · 2 篇报道
    Honnibal质疑MIT Astra研究实验呈现误导
    量子位:spaCy 作者 Matthew Honnibal 质疑 MIT Astra 研究:修改 Qwen 权重实验被指偷换概念
  2. 11月4日 00:29 · 2 篇报道
    用本地 Qwen 3.8 27B 复现权重解读实验
    RadarAI:Simon Willison 实测 Qwen 3.8 27B 在笔记本上从权重识别游戏
  3. 11月3日 20:21 · 1 篇报道
    质疑“Astra 能读写权重改进 Qwen”的说法具有误导性
    Hacker News:质疑“Astra 能读写权重改进 Qwen”的说法具有误导性
  4. 11月3日 14:53 · 1 篇报道
    Weight-Space Programming:权重空间编程与 persona vectors 的警示
    RadarAI:Weight-Space Programming:权重空间编程与 persona vectors 的警示
  5. 11月3日 08:45 · 1 篇报道
    MIT CSAIL 提出 Weight-Space Programming 方法
    RadarAI:MIT 提出 Weight-Space Programming:AI 可直接编辑模型权重
  6. 11月3日 06:26 · 1 篇报道
    LLM 并非超人:GPT-6 Astra 直接读写神经网络权重的能力被高估
    Hacker News:LLM 并非超人:GPT-6 Astra 直接读写神经网络权重的能力被高估
  7. 11月3日 05:37 · 5 篇报道
    研究提出权重空间编程,GPT-6 Astra直接改写模型权重
    量子位:MIT 实验:GPT-6 Astra 直接修改 Qwen3.5 权重,MATH-500 得分提升约 6 倍
  8. 11月3日 02:21 · 4 篇报道
    研究提出权重空间编程,让LLM直接读写神经网络权重
    Hacker News:Astra 直接读写神经网络权重:从识别游戏策略到修复 Qwen3.5-0.8B 推理循环

报道时间线

沿着报道,了解事件的不同侧面。

11月5日
  1. 量子位
    spaCy 作者 Matthew Honnibal 质疑 MIT Astra 研究:修改 Qwen 权重实验被指偷换概念

    spaCy 作者、Explosion 联合创始人 Matthew Honnibal 公开质疑 MIT 的 Astra 研究存在严重误导。

  2. RadarAI
    MIT 团队 Astra 修改 Qwen3.5-0.8B 权重研究遭质疑

    MIT 团队称 Astra 仅修改 Qwen3.5-0.8B 的 0.016% 权重,就把数学成绩从 7.9% 提升到 48.1%,但 spaCy 作者 Matthew Honnibal 指出论文实际呈现了三项不同能力,实验条件存在概念混淆。争议焦点在于其宣传的技术路径与真实实验设置之间的差异。

11月4日
  1. RadarAI精选
    MIT 研究展示 GPT-6 Astra 可直接读写其他模型权重

    MIT 研究人员在研究博客中展示,OpenAI 的 GPT-6 Astra 能直接分析并修改其他 AI 模型的权重,无需传统训练,该方法被称为 Weight-Space Programming。

  2. The Decoder
    GPT-6 Astra 通过权重空间编程直接改写其他模型权重

    The Decoder 报道了一项被称为 Weight-Space Programming 的研究,GPT-6 Astra 无需常规训练,直接读取和生成模型权重。

  3. RadarAI
    Simon Willison 实测 Qwen 3.8 27B 在笔记本上从权重识别游戏

    Simon Willison 用论文 Sparks of Weight-Space Programming 的原始提示词,在笔记本上以 LM Studio 运行 17GB 的 Qwen 3.8 27B,不借助任何工具从原始权重猜出训练游戏,成功识别 Pac-Man、Pong 和 Breakout,Freeway 失败。

  4. Simon Willison
    Qwen 3.8 27B 在笔记本上也能解读模型权重

    受论文《Sparks of Weight-Space Programming》启发,Qwen 3.8 27B 在笔记本上仅凭原始权重、无工具无代码执行,就成功识别出 Breakout、Pong 和 Pac-Man 三个游戏,分别耗时 52m 25s、1h 4m 54s 和 46m 12s,Freeway 则识别失败。

11月3日
  1. Hacker News
    质疑“Astra 能读写权重改进 Qwen”的说法具有误导性

    一篇质疑文章指出,“Astra 能读写权重改进 Qwen”的帖子把多种不同技术混为一谈。真正只读取原始权重的实验仅限 17K–172K 参数的小网络,而 Qwen3.5-0.8B 数学能力从 MATH-500 7.9% 提升到 48.1% 的结果依赖编写 Python 程序并运行最多 50 批练习题,并非“仅看原始权重”完成。

  2. RadarAI
    Weight-Space Programming:权重空间编程与 persona vectors 的警示

    作者指出 Weight-Space Programming 与 persona vectors 存在关联,并警示所有此类权重空间编程方法本质上可能都属于“emergent misalignment”的变体。其建议读者人工研读 persona vectors 五遍,以理解这些方法的普遍性质。

  3. RadarAI
    新论文提出 Weight-Space Programming:LLM 可直接读写神经网络权重

    Latent Space 报道的论文提出 Weight-Space Programming,让前沿 LLM 直接读取并编辑神经网络权重,无需编写 PyTorch/JAX 代码或跑训练流程。

  4. Latent Space
    LLM 可直接读写神经网络权重,Weight-Space Programming 提出免训练权重编辑

    Takehi 等人提出 Weight-Space Programming,让前沿 LLM 从自然语言目标出发直接检查和编辑神经网络权重张量,不依赖梯度下降或训练循环。

  5. RadarAI
    MIT CSAIL 提出权重空间编程:GPT-6 Astra 改 Qwen3.5-0.8B 约 0.016% 权重,MATH-500 提升至 6 倍

    MIT CSAIL 研究者提出「权重空间编程」,让 GPT-6 Astra 直接读取并修改 Qwen3.5-0.8B 的权重,仅调整 131072 个权重(约 0.016%),不使用梯度下降或传统训练循环,就把 MATH-500 成绩从 7.9% 提升至 48.1%,GSM8K 从 13.8% 提升至 67.1%。

  6. 量子位精选
    MIT 实验:GPT-6 Astra 直接修改 Qwen3.5 权重,MATH-500 得分提升约 6 倍

    MIT 团队让 GPT-6 Astra 直接读取并编辑 Qwen3.5-0.8B 的权重,仅改动 0.016% 的参数,MATH-500 得分就从 7.9% 升到 48.1%,指令执行能力也提高 3 倍,全程没有训练和梯度下降。

  7. RadarAI
    MIT 提出 Weight-Space Programming:AI 可直接编辑模型权重

    MIT CSAIL 团队提出 Weight-Space Programming 方法,让大模型通过自然语言推理直接读取和修改神经网络权重。该方法可显著提升小模型性能,相关成果由 meng shao 在社交平台分享。

  8. RadarAI
    MIT CSAIL 团队提出权重空间编程,GPT-6 Astra 直接改写 Qwen3.5-0.8B 权重

    MIT CSAIL 博士生 Rikiya Takehi 团队提出权重空间编程方法,让 GPT-6 Astra 无需训练和梯度直接读写神经网络权重。实验仅修改 Qwen3.5-0.8B 约 0.016% 的权重,MATH-500 从 7.9 涨到 48.1,GSM8K 从 13.8 涨到 67.1,指令遵循提升 3 倍。

  9. RadarAI
    Weight-Space 编程:GPT-4 Astra 直接编辑 Qwen3.5-0.8B 权重

    报道介绍「Weight-Space 编程」方法,由 GPT-4 Astra 直接修改 Qwen3.5-0.8B 的模型权重,无需重新训练。该方法只改动 0.016% 的参数来修复推理问题,数学性能最高提升 6 倍,指令跟随能力最高提升 3 倍。

  10. Hacker News
    LLM 并非超人:GPT-6 Astra 直接读写神经网络权重的能力被高估

    一篇论文称 GPT-6 Astra 能直接读写神经网络权重,包括识别小型网络训练的游戏,并通过原生编辑权重修复 0.8B Qwen 模型在 32k token 后陷入循环的问题。

  11. RadarAI
    研究称 GPT-6 Astra 可直接改写 Qwen3.5-0.8B 权重提升数学能力

    Rikiya Takehi 称,团队让 GPT-6 Astra 编辑 Qwen3.5-0.8B 的权重以提升数学能力,只直接改动了 0.016% 的权重,就修复了该模型的推理循环,数学能力最高提升 6 倍、指令遵循提升 3 倍,全程无需梯度或训练。

  12. RadarAI
    MIT 研究让 GPT-6 Astra 无需训练直接改写 Qwen3.5-0.8B 权重提升数学表现

    MIT CSAIL 研究者演示了 Weight-Space Programming:GPT-6 Astra 无需训练或梯度,直接读写神经网络权重,把 Qwen3.5-0.8B 在 MATH-500 上的成绩从 7.9% 提升到 48.1%,仅改动 0.016% 的权重。

  13. Hacker News精选
    Astra 直接读写神经网络权重:从识别游戏策略到修复 Qwen3.5-0.8B 推理循环

    研究团队提出 Weight-Space Programming,让 GPT-6 Astra 不借助梯度下降、直接以文本形式读写神经网络权重。Astra 仅凭 17,253 个权重就能以 99% 置信度判断网络训练自哪款游戏,并在无环境反馈下一次生成击败 PPO 训练 1 亿步的 MinAtar 网络。

本事件热度走势

可比范围当前
30
可比范围峰值
3511月4日 01:00
近 24 小时变化
+40%

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。