arXiv cs.CL· Shivam Adarsh, Hetianyu Huang, Lau Safin, Maria Maistro, Christina Lioma·· 10 小时前AI 评分31
激活引导如何改变 LLM 话语层面：识别并干预激活引导引发的话语变化
When Steering Shifts Discourse: Identifying and Intervening on Discourse-Level Changes due to Activation Steering in LLMs
AI 导读
激活引导会在不重训模型权重的情况下系统性改变 LLM 生成文本的话语维度，如正式程度、证据使用和模糊性，此前仅用困惑度等粗粒度指标衡量。研究者提出叠加第二个互补向量来针对受影响的话语维度，该干预恢复了约 78% 的非预期话语变化，同时在约 93% 的生成中保留了预期的引导行为。
正文 · AI 翻译
摘要：激活引导是一种推理时技术，用于控制或修改大语言模型（LLM）的行为、语气或安全属性，无需重新训练模型权重或编辑输入提示，只需向其残差流激活中添加一个向量即可。然而，激活引导也会以非预期的方式改变生成的文本，这些改变与预期的行为变化无关，且尚未被充分理解。此前的工作仅通过困惑度等粗粒度信号来衡量这些变化。在本工作中，我们表明引导会系统性地使生成文本的话语维度产生显著变化，例如其正式程度、证据使用和模糊性。我们提出了一种应对方法：添加第二个互补向量，针对受影响的话语维度。该干预恢复了约 78% 的非预期话语变化，同时在约 93% 的生成中保留了预期的引导行为。
| 学科： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.41661 [cs.CL] |
| （或 arXiv:2610.41661v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.41661 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Shivam Adarsh [查看邮箱]
[v1]
2026年10月30日星期五 12:32:47 UTC（1,015 KB）
来源：arXiv cs.CL · arxiv.org