arXiv cs.CL· Hirofumi Morise·· 10 小时前AI 评分26
基于稀疏自编码器的激活引导：信息论设计框架
Information-Theoretic Design of Sparse Autoencoder-Based Steering
AI 导读
研究提出一个信息论框架，通过经验特征激活分布分析稀疏自编码器（SAE）激活，以 Jensen-Shannon 散度（JSD）量化生成或干预状态偏离数据集目标分布的程度。基于虚拟偏移状态的解析散度响应，该方法构造出指向目标激活分布的引导向量，并在问题模式生成任务中验证了有效性。教师强制脉冲实验显示局部干预会在后续层引发结构化的下游 JSD 响应，该框架还被用于安全相关的目标—对比响应特征分析。
正文 · AI 翻译
摘要：基于稀疏自编码器（SAE）的激活引导是一种轻量级方法，通过在推理过程中向隐藏状态添加小向量来改变大语言模型（LLM）的行为。然而，设计有效的引导干预仍然具有挑战性。在本工作中，我们开发了一个信息论框架，通过经验特征触发分布来分析 SAE 激活。该框架的核心对象是此类触发分布之间的 Jensen--Shannon 散度（JSD），它量化了生成或干预后的状态偏离数据集诱导的目标分布的程度。基于对虚拟平移状态的解析散度响应，我们构造了朝向目标触发分布的引导向量。同一散度也可用于监测对另一经验分布的偏离，例如一般有效语言分布。我们在问题模式生成任务研究中展示了该引导的有效性。我们进一步使用教师强制脉冲实验表明，局部干预会在后续层中诱导结构化的下游 JSD 响应，并将该框架应用于与安全相关的目标--对比响应设置以进行特征分析。
| 学科： | 计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2611.01378 [cs.CL] |
| （或 arXiv:2611.01378v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.01378 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Hirofumi Morise [查看电子邮件]
[v1]
2026年11月1日星期日 00:33:01 UTC（439 KB）
来源：arXiv cs.CL · arxiv.org