arXiv cs.CL· Brandon Hsu, Daniel Beaglehole, Adityanarayanan Radhakrishnan, Mikhail Belkin·· 11 小时前AI 评分34
CLAS：面向语言模型的情境化线性激活引导方法
Contextual Linear Activation Steering of Language Models
AI 导读
研究者提出情境化线性激活引导（CLAS），将激活引导分解为固定引导方向与随上下文变化的引导系数，从而在保持方向可解释性的同时让引导强度随输入变化。CLAS 还能在单次生成的不同片段上引导多种行为，这是固定强度方法无法做到的。在多项引导基准和语言模型上，CLAS 稳定优于标准线性激活引导，在标注数据有限时达到或超过 ReFT 与 LoRA，且所用方向可作为可靠的概念监测器。
正文 · AI 翻译
摘要：线性激活引导是一种强大的方法，通过在推理时向大语言模型的激活中添加概念的线性表示，来控制和专门化大语言模型。尽管有效，现有方法通常以固定强度进行引导，而不考虑任何给定输入需要多少引导。在这项工作中，我们引入了上下文线性激活引导（CLAS），它将激活引导分解为固定的引导方向和依赖于上下文的引导系数。这种分解保留了引导方向的可解释性，同时使引导强度能够随上下文变化。它还使 CLAS 能够执行选择性引导：在单次生成的不同部分引导多种行为，这是使用固定引导强度无法实现的。此外，在广泛的引导基准和语言模型上，CLAS 始终优于标准线性激活引导，并在标注数据有限的设置中达到或超过 ReFT 和 LoRA。值得注意的是，CLAS 使用的方向同时也可作为可靠的概念监测器，而通过微学习得到的方向缺乏这一特性。因此，我们提出 CLAS 作为一种可解释且准确的方法，用于控制和专门化大语言模型。
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2604.24693 [cs.CL] |
| （或此版本的 arXiv:2604.24693v2 [cs.CL]） | |
| https://doi.org/10.48550/arXiv.2604.24693 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Brandon Hsu [查看电子邮件]
[v1]
2026年4月27日星期一 16:54:16 UTC（99 KB）
[v2]
2026年10月30日星期五 23:19:16 UTC（326 KB）
来源：arXiv cs.CL · arxiv.org