arXiv cs.CL· Yukiya Horiba, Hakaze Cho, Takahiro Yakoh·· 10 小时前AI 评分29
任务向量可线性分解为可解释、可控的组件
Task Vectors Can Be Linearly Decomposed into Interpretable and Controllable Components
AI 导读
研究提出将单个任务向量（TV）按任务识别（TR）与任务学习（TL）分解为 TR、TL 和残差组件，并用贝叶斯优化调整 TR/TL 系数。在多个模型族、分类任务及基于指令和示例的 TV 上，该分解找到的干预方向优于原始 TV，其中基于指令的 TV 增益更稳定。对分解组件的单独干预产生的 logit 层面效果与其预期功能角色一致。
正文 · AI 翻译
摘要：任务向量（Task Vectors，TVs）提供了一种紧凑的方式来引导大语言模型，但它们通常被视为仅从隐藏状态中提取的原子化方向，其内部功能结构却鲜为人知。受先前将上下文学习分解为任务识别（Task Recognition，TR）和任务学习（Task Learning，TL）的工作启发，我们提出一个问题：单个 TV 是否同样可以被分解为具有功能意义的组件。我们基于候选标签的 unembedding 提出了一种基于 TR/TL 的分解方法，将每个 TV 分离为 TR、TL 和残差组件，并尝试使用贝叶斯优化来优化 TR 和 TL 系数，以实现更有效的干预。我们在多个模型家族、分类任务以及基于指令和基于演示的 TV 上评估了这一公式。在这些设置中，基于 TR/TL 的优化所识别出的干预方向优于原始 TV。尽管在随机方向上进行优化也能提升性能，但基于 TR/TL 的搜索能带来更可靠的增益，尤其是对于基于指令的 TV。此外，对分解后的组件进行单独干预会产生不同的 logit 级效应，这些效应与其预期的功能角色相一致。总之，这些结果表明 TV 并非单一的整体引导方向，而是可以被分解为具有功能意义的组件，从而同时支持解释和控制。
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.41743 [cs.LG] |
| （或 arXiv:2610.41743v1 [cs.LG] 为此版本） | |
| https://doi.org/10.48550/arXiv.2610.41743 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yukiya Horiba [查看邮箱]
[v1]
2026年10月30日星期五 13:48:48 UTC（318 KB）
来源：arXiv cs.CL · arxiv.org