arXiv cs.CL· Chung-En Sun, Ge Yan, Zimo Wang, Tsui-Wei Weng·· 10 小时前AI 评分32
Steer2Edit：从激活引导到组件级权重编辑的无训练框架
Steer2Edit: From Activation Steering to Component-Level Editing
AI 导读
Steer2Edit 提出一种无需训练的框架，将推理时的引导向量转化为诊断信号，用于对注意力头和 MLP 神经元做组件级 rank-1 权重编辑，而非在生成时全局注入固定方向。在安全对齐、幻觉缓解和推理效率任务上，匹配下游性能时安全提升最高 17.2%、真实性提升 9.8%、推理长度平均缩短 12.2%。该方法保持标准前向传播并兼容并行推理优化，代码已开源，论文被 NeurIPS 2026 接收。
正文 · AI 翻译
摘要：引导方法通过识别隐藏表示中的语义方向来影响大语言模型的行为，但通常通过推理时的激活干预来实现，即对模型内部状态施加固定的全局修改。虽然有效，但此类干预在强控制下往往会导致不利的属性-效用权衡，因为它们忽略了这样一个事实：许多行为仅由一小部分异构的模型组件所支配。我们提出 Steer2Edit，一个具有理论依据、无需训练的框架，它将引导向量从推理时的控制信号转变为用于组件级秩一权重编辑的诊断信号。Steer2Edit 不是在生成过程中统一注入引导方向，而是选择性地将行为影响重新分配到各个注意力头和 MLP 神经元上，产生可解释的编辑，同时保留标准前向传播，并与优化的并行推理保持兼容。在安全对齐、幻觉缓解和推理效率方面，Steer2Edit 始终实现更有利的属性-效用权衡：在匹配的下游性能下，它将安全性最高提升 17.2%，真实性提升 9.8%，并将推理长度平均缩短 12.2%。总体而言，Steer2Edit 通过将引导信号转化为可解释、无需训练的参数更新，在表示引导与权重编辑之间架起了一座有原则的桥梁。我们的代码可在 此 https URL 获取
| 评论： | 已被 NeurIPS 2026 接收 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2602.09870 [cs.CL] |
| （或 arXiv:2602.09870v3 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2602.09870 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Chung En Sun [查看电子邮件]
[v1]
2026年2月10日星期二 15:15:15 UTC（1,543 KB）
[v2]
2026年3月3日星期二 02:47:10 UTC（1,543 KB）
[v3]
2026年11月4日星期三 03:41:39 UTC（1,596 KB）
来源：arXiv cs.CL · arxiv.org