arXiv cs.CL· Sovesh Mohapatra, Dani S Bassett·· 6 天前AI 评分20
任务上下文如何塑造语言模型内部组件的角色
Task Context Shapes Component Roles in Language Models
AI 导读
研究用相同图事实对比不同任务下语言模型的固定组件，发现任务变化会重新分配五个开源权重模型（覆盖四个家族、1.5-14B 参数）中注意力头的影响力。在 Gemma-2-9B 和 Qwen3-14B 中，一次激活编辑可改变早期内部激活向量，在指令不变的情况下切换模型读取的事实。基于此构建的线性响应图在对应条件下将预测均方误差较两图平均分别降低 53.6%（Gemma）和 5.0%（Qwen）。
正文 · AI 翻译
摘要：大型语言模型在不同任务中复用相同的注意力头，但识别出这些共享头并不能解释它们在每个任务中做了什么不同的事。一个自然的灵感来源是共享脑区之间依赖任务的交互，这促使人们从网络视角看待语言模型的计算。在这里，我们使用相同的图事实（即指明存在哪些有向连接的陈述）来比较不同任务中的固定模型组件。我们测量干预如何影响注意力头以及后续层中的激活状态（影响），以及答案（重要性）。任务变化在涵盖四个家族、15 亿至 140 亿参数的五个开放权重模型中重新分配了影响。在 Gemma-2-9B 和 Qwen3-14B 中，一次激活编辑改变了一个早期内部激活向量，并在书面指令保持不变的情况下切换了模型读取的事实。随后，相同的头会对不同的图事实作出响应，并以不同方式影响后续组件。对于每个提示，我们构建两个线性响应映射，一个在编辑之前，一个在编辑之后。每个映射根据对较早头的测量变化来预测较晚头的响应。对于一次单独的事实干预，与两个映射的平均值相比，对应条件的映射将 Gemma 中的均方预测误差降低了 53.6%，在 Qwen 中降低了 5.0%。这些发现表明，任务上下文既改变了共享组件响应哪些图事实，也改变了它们的输出如何影响后续计算。网络解释可能有助于解释模型如何使用共享参数执行不同的计算。对任务依赖影响的测量还可以指导旨在改变一种行为同时保留其他行为的干预。
| 评论： | 9 页，5 幅图 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.13895 [cs.CL] |
| （或 arXiv:2610.13895v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.13895 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Sovesh Mohapatra [查看电子邮件]
[v1]
2026 年 10 月 9 日星期五 17:40:53 UTC（5,040 KB）
来源：arXiv cs.CL · arxiv.org