arXiv cs.AI· Nazmus Sakib Ahmed·· 11 小时前AI 评分58
研究质疑 LLM 权重空间编程：是推理还是记忆
Can an LLM Actually Reason and Program about Neural Network's Weights or is it just memorization on steroids? Exploring "Weight-Space Programming"
AI 导读
一项 arXiv 研究测试 Claude Opus 5.5 能否直接读取约 125,000 参数的小型卷积网络权重，结论更接近局部算术加数据集先验，而非追踪权重流动。
正文 · AI 翻译
摘要：近期有报告称，大型语言模型（LLMs）能够直接读写神经网络的原始权重，这种能力被称为权重空间编程。我们追问：这一能力中“读”的一面，究竟反映的是对权重流动的推理，还是网络边缘处的局部算术与对公开数据集的记忆先验的结合？我们在约 125,000 个参数、基于五个图像数据集训练的小型卷积网络上测试 Claude Opus 5.5，将每个权重以纯文本形式提供，不使用工具、不进行前向传播，也不提供数据集或类别名称。该模型能进行准确的局部计算：批归一化统计量使其推断出在训练三次更新后停止的网络上大约进行了三步优化器更新，输出层的符号模式则还原出 CIFAR-10 的车辆/动物划分。会话报告称其仔细读取了首层和末层，并对中间层进行采样，若干基于部分追踪的论断未能通过验证，尽管我们并未运行直接的前向传播测试。语义判断依赖熟悉的数据集：模型将 CIFAR-10 网络命名为 CIFAR-10，但对三个快餐网络也如此命名；将 KMNIST 重新标记为 MNIST；将一个准确率 99.57% 的 SAT-6 网络读作 CIFAR-10 动物照片；并将“frog”称为某个在树木上激活最强的特征所偏好的输出。置换 CIFAR-10 的标签后，输出划分在新索引处得以保留，但模型所解读的每一对类别随后都是错误的，这表明其依赖记忆中的标签顺序。这些是主要来自单次运行的探索性结果。我们得出结论：该模型的零样本权重读取，更应被描述为局部算术加数据集先验，而非权重流动追踪；我们还提供了一套用于审计未来权重空间论断的协议。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.08070 [cs.LG] |
| （或 arXiv:2611.08070v1 [cs.LG] 为本版本） | |
| https://doi.org/10.48550/arXiv.2611.08070 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Nazmus Sakib Ahmed [查看邮箱]
[v1]
2026年11月5日星期四 14:23:07 UTC（1,095 KB）
来源：arXiv cs.AI · arxiv.org