arXiv cs.CL· Tuc Nguyen, Marcos Guti\'errez-del-Pozo, Eduardo Paluzo-Hidalgo, Yifan Hu, Adaku Uchendu, Thai Le·· 10 小时前AI 评分31
TopoSteer：面向 LLM 激活引导的拓扑层选择方法
TopoSteer: Topological Layer Selection for Activation Steering in LLMs
AI 导读
TopoSteer 提出一种基于拓扑的层选择方法，通过计算每层位移点云的总 H_0 持久性（即点云欧氏最小生成树长度）来为激活引导打分选层。该方法证明随着样本级变异增大，TopoSteer 与可判别性会朝相反方向变化，两者可能给出相反的层排序。在多个语言模型和引导任务上，TopoSteer 无需留出验证集即可实现更有效的引导。
正文 · AI 翻译
摘要：激活引导通过在大型语言模型的内部表示中加一个向量，在推理时对其进行控制。大多数工作关注如何构造该向量，而对其应加在何处关注甚少，尽管在选得不好的层上引导可能还不如完全不引导。此前的选择器在选定层时从不实际引导模型来测试它：它们评估目标行为在该层的可分性，以及各个样本沿引导方向的一致性。我们认为，关键不在于两个激活云团的可分性，也不在于单个位移与其均值的对齐程度，而在于均值差引导所平均的逐样本位移云团的延展程度。我们提出一种基于拓扑的层选择方法，称为 TopoSteer，它通过位移云团的总 H_0 持续度（计算为云团欧几里得最小生成树的长度）来给层打分。我们表明该分数关注位移云团的相对几何结构，而类别分离仅通过标准化对其产生影响。我们还通过证明随着样本级变异增大，TopoSteer 与可判别性朝相反方向变化，从而为我们的方法提供理论解释，因此这两种准则可能以相反方式对层排序。在多个语言模型和引导任务上，TopoSteer 为基于可判别性和可分性的层选择提供了一种有原则的替代方案，无需留出验证即可产生更有效的引导。
| 评论： | 42 页，8 幅图 |
| 主题： | 计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2611.01493 [cs.CL] |
| （或 arXiv:2611.01493v1 [cs.CL] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2611.01493 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Tuc Nguyen Van [查看邮箱]
[v1]
2026 年 11 月 1 日周日 03:24:53 UTC（7,450 KB）
来源：arXiv cs.CL · arxiv.org