arXiv cs.AI· Vedant Jumle·· 3 天前AI 评分32
当激活引导被用作记忆时，什么能存活下来
What Survives When Activation Steering Is Used as Memory
AI 导读
一项预注册研究在 Qwen3.5-2B 和 9B 上测试了冻结 LLM 旁的无训练激活记忆：将经验引起的后层状态变化存为偏移，按对话要旨的白化键归档，仅在要旨匹配时回加。
正文 · AI 翻译
摘要：激活引导近来被用作技能记忆：智能体的过往经验被存储为引导向量，并在之后检索。关于用户的事实和偏好则被认为需要文本形式。我们在一个冻结的 LLM 旁设置一个免训练的激活记忆，以检验这一假设。经验在深层状态中引起的变化被存储为一个偏移，以对话要旨的白化键归档，并且仅在之后会话中要旨匹配时才加回。我们认为，这样的偏移是某种效应的固定平均值，而注意力会在上下文中针对每个问题重新计算该效应，因此只有与问题无关的内容才能留存。在一项针对 Qwen3.5-2B 和 9B 的预注册研究中，使用来自四个模型家族的评判者，该记忆具有选择性（约 98% 的无关回复保持不变），但事实被存储为要说出的词，仅存在于最后几层，并且几乎从未被使用（最多 15% 的干净使用率，而上下文中为 96-98%）。倾向仅在狭窄的强度窗口内迁移。最引人注目的是，写入偏好时所减去的参照决定了其概念还是其方向得以留存：除非减去相反项，否则存储的厌恶会被回忆为喜欢。
| 评论： | 12 页，7 幅图，2 张表。代码：此 https URL |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.14958 [cs.AI] |
| （或 arXiv:2610.14958v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.14958 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Vedant Jumle [查看电子邮件]
[v1]
2026 年 10 月 10 日星期六 14:31:47 UTC（115 KB）
来源：arXiv cs.AI · arxiv.org