arXiv cs.AI· Tong Che, Yilong Li·· 10 天前AI 评分22
LLM 内部特征被模型真正使用了吗？区分引导与机制
Does the Model Use the Feature? Separating Steering from Mechanism in LLMs
AI 导读
研究提出一套实证契约，在自然输入观测值上评估特征，通过安装、移除与下游救援测试区分特征是否被模型真正使用。对三类表征的测试显示，已发表的未知实体 latent 虽能强烈引导知识弃答，但将观测值安装到匹配提示中仅能迁移自然已知—未知弃答对比的一小部分。Gemma 与 Llama 的稠密已知—未知方向在安装与移除间呈现相反不对称性，主语—动词一致性特征集能否复现行为取决于其值写入模型的方式。
正文 · AI 翻译
摘要：LLM 中的内部特征常被解释为机制，因为它们能追踪某个概念，且对其的操控会改变相关行为。然而，引导可以将某个特征推到远超其自然范围之外，此时其效果未必反映模型自身的计算。我们审视这一推断，并提出一份实证契约，其检验在自然输入上观测到的取值处评估特征。其中一项检验将某个特征的值从一个表现出某行为的输入复制到一个不表现出该行为的匹配输入中（安装），或反向操作（移除）；另一项检验在上游编辑后恢复该特征（下游救援）。安装衡量该特征在多大程度上足以产生该行为；移除和下游救援衡量模型在多大程度上使用它。应用于三类表示时，这两种强度截然不同。已发表的未知实体隐变量能强烈引导知识弃答，然而将来自任一已发表隐变量的观测值安装到匹配提示中，仅能转移自然已知—未知弃答对比中的一小部分。密集的已知—未知方向在 Gemma 和 Llama 中表现出安装与移除之间的相反不对称性，而已发布的主语—动词一致性特征集能在多大程度上复现并恢复该行为，取决于其值被写入模型的方式。因此，追踪一个概念并引导一种行为本身并不能表明模型使用了某个特征，且每个结论仅对所测试的干预成立。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.07270 [cs.AI] |
| （或 arXiv:2610.07270v1 [cs.AI] 为此版本） | |
| https://doi.org/10.48550/arXiv.2610.07270 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
发件人：Yilong Li [查看邮箱]
[v1]
2026年10月5日星期一 19:11:42 UTC（122 KB）
来源：arXiv cs.AI · arxiv.org