arXiv cs.AI· Remy Ogasawara, Cullen Anderson, Narmeen Fatimah Oozeer, Foad Namjoo, Amir Abdullah, Jens Kristian Refsgaard Schou, Jeff M. Phillips·· 12 小时前AI 评分29
面向 LLM 的正交与参数化多属性引导方法
Orthogonal and Parametrized Multi-Attribute Steering of LLMs
AI 导读
研究提出参数化引导方法，不再沿方向推动激活，而是将激活直接设定到目标特质强度，并先为每个引导向量识别最可引导区间、按此重缩放引导范围，使引导强度具有统一可解释含义。针对多特质引导中朴素组合向量会相互干扰的问题，作者开发了向量正交化方法，解耦各特质，使模型可同时引导多个行为而不互相诱发。
正文 · AI 翻译
摘要：激活引导提供了一种在推理时修改 LLM 行为的有效且高效的方法。然而，如何应用引导才能使信号始终足够强、且引导强度具有普遍可解释的含义，目前仍不清楚。为此，我们首先为每个引导向量确定最易引导的区间，并据此重新缩放引导范围。在此基础上，我们引入一种更具可解释性的引导方法，称为参数化引导：它不再将激活推向某个方向，而是将激活设定为期望的特质强度。接下来，在多特质引导中，我们发现简单地将向量组合会导致它们相互干扰。为此，我们开发了一种使向量正交化的方法；该方法解耦了这些特质，使模型能够表现出一种行为而不诱发其他行为，从而可以同时引导多个特质。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.37517 [cs.LG] |
| （或 arXiv:2610.37517v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.37517 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Remy Ogasawara [查看邮箱]
[v1]
2026年10月27日星期二 16:39:53 UTC（1,326 KB）
来源：arXiv cs.AI · arxiv.org