arXiv cs.CL· Wei Gao (Shibei Qiyuan AI Technology), Cheng Tian (Shibei Qiyuan AI Technology), Duan Yang (Xi'an Jiaotong University), Jianqing Yin (Shibei Qiyuan AI Technology)·· 2 天前AI 评分22
可写性与路径：向寻址记忆注入知识的对照研究
Writability and the Pathway: A Controlled Study of Knowledge Injection into Addressed Memory
AI 导读
一项对照研究测试了向寻址条件记忆注入知识的可写性：在冻结 GPT-2 上新增模块的 2×2 实验中，自然问题目标字符串命中率在仅行更新下平均 5.3%，无锚定投影更新为 28.7%，加锚定后为 22.0%，但严格答案得分均为零。
正文 · AI 翻译
摘要：针对性的条件记忆为事后知识注入提供了一个局部表面，但一次成功的写入未必能迁移到新问题，也未必能保持非目标行为。本研究将受控的 GPT-2 对比与在 Qwen3.8-Flash-Next-FP8 和 DeepSeek-V4.1-Flash 上的生产记忆实验相结合。附加到冻结 GPT-2 上的新初始化模块在 2 x 2 设计中进行测试：仅行更新与行加投影更新，各自带或不带固定模块残差锚定。所有分支在三个采样种子中均复现了 50 个训练完成的补全。自然问题的目标字符串命中率在仅行更新的两个分支中平均为 5.3%，无锚定投影更新为 28.7%，带锚定为 22.0%，而严格答案得分仍为零。锚定降低了测得的漂移；词汇命中并不能确立实体特定的检索。在归档的 Qwen 实验中，梯度写入使指定的首个答案 token 在 132 个独立重置的目标中排名第一，其中包括 93 个新提升和 39 个原本已排名第一的目标。一项单独匹配的 24 目标比较显示，在迭代次数相同但计算过程不等的情况下，Adam 带来 13 个新提升，而 SPSA 为两个。一个 80 行案例包含保存的续写和重放记录，而改写则限定了其范围。六个 DeepSeek 零阶案例产生了一个新的目标 token 提升和一个回退。这些结果支持有界写入的可行性，并将训练表达、问题形式行为和保持性区分开来；首 token 排名并不能确立完整答案的成功，也不能确立可写记忆的普遍条件。
| 评论： | 22 页，2 幅图 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.21553 [cs.CL] |
| （或 arXiv:2610.21553v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.21553 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Cheng Tian [查看电子邮件]
[v1]
2026年10月15日星期四 09:14:29 UTC（78 KB）
来源：arXiv cs.CL · arxiv.org