arXiv cs.AI· Shuhul Razdan, R Balamurugan·· 3 天前AI 评分12
语言模型中的概念器补集何时成为增益：算子几何与行为归因
When a Conceptor Complement Becomes Gain: Operator Geometry and Behavioral Attribution in Language Models
AI 导读
研究测试了以目标为中心、带缩放的 conceptor 补集中，拟合协方差滤波器对语言模型行为变化的贡献。在 α=.05、β=2 时，三个模型七个目标的 21 个拟合映射在生成干预层均扩展所有方向，矩阵校正仅占匹配对照位移的 0.093%–7.815%；1920 条回复的 480 组配对比较显示，保留矩阵会改变许多单条文本，但未能在四目标面板上确立一致的额外目标抑制收益。
正文 · AI 翻译
摘要：当一次引导干预改变语言模型的行为时，干预的哪一部分应居功？我们针对一个以目标为中心、按比例缩放的 conceptor 补集来检验这一问题：移除其拟合的协方差滤波器，同时保留相同的目标特定中心和增益。在原始孔径 $\alpha=.05$ 和增益 $\beta=2$ 下，三个模型、七个目标上的全部 21 个拟合映射在生成干预层都扩展了每一个方向。在留出的提取激活上，矩阵校正为匹配对照位移的 $0.093\%$--$7.815\%$。在一项包含 1,920 个响应的研究中的 480 次配对比较里，保留矩阵会改变许多单个文本，但未能在四目标面板上确立一致的额外目标抑制收益。几何孔径扫描表明，工作区间随滤波器设置而变化。另外，可逆软滤波器保留了无约束仿射读出所能恢复的信息，而专用擦除方法则降低了新拟合探针的预测。总之，这些结果说明为何仅靠整体干预比较无法将生成行为归因于拟合矩阵：应分析完整的变换，保持共享分量固定，并直接检验其输出后果。
| 评论： | 50 页。已被 NeurIPS 2026 NeurReps Workshop（神经表示中的对称性与几何）接收。代码：this https URL |
| 学科： | 人工智能（cs.AI） |
| 引用格式： | arXiv:2610.16325 [cs.AI] |
| （或 arXiv:2610.16325v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.16325 arXiv 颁发的 DOI 经由 DataCite（待注册） |
提交历史
来自：Shuhul Razdan [查看邮箱]
[v1]
2026年10月12日星期一 07:43:46 UTC（1,516 KB）
来源：arXiv cs.AI · arxiv.org