arXiv cs.AI· Weihan Li, Xinlei Chen, Yuhan Song, Xiaofeng Lin, Tianshi Zheng·· 3 天前AI 评分22
LLM 中可操控的效价方向究竟表征了什么？相同结果、不同读出
Same Outcome, Different Readout: What Does a Steerable Valence Direction in LLMs Represent?
AI 导读
一项研究以迷宫任务中的“好-坏”结果方向为对象，用受控干预区分实际结果与信息历史，检验该方向的构念效度。跨多个 LLM checkpoint，基于一种显式结果编码拟合的方向能良好迁移到另一种编码，但同一结果经由“预告”与“未预告”两种历史达成时迁移显著下降，事件后读出仍强烈依赖早先的预告。
正文 · AI 翻译
摘要：关于 LLM 内部方向代表什么的断言，需要超越观察者对系统的先验信念的证据约束。可解码性和成功的激活引导本身并不能确定该方向追踪的是哪个构念。这一差距对于与福利相关的解释尤为关键，因为所提出的功能状态必须与提取对比中的相关特征区分开来。我们将该问题视为构念效度问题，并研究迷宫任务中的好-坏结果方向，使用受控干预将实际结果与使其被知晓的信息历史分离开来。在多个 LLM 检查点上，基于一种显式结果编码拟合的方向能很好地迁移到另一种编码，表明该读出并不依赖于表面形式。然而，当同一实际结果通过已宣布和未宣布的历史达成时，迁移会显著退化：即使两种历史都接收到相同的显式结果，事件后的读出仍然强烈受先前宣布的影响。在基础模型中，沿该方向进行引导会改变动作，但移除它后自然线索效应几乎保持不变。在匹配的迷宫-RL 运行中，RL 后的方向对参考 MDP 剩余回报的预测能力显著增强，且策略在测试位点上变得更加依赖它，而历史依赖性依然存在。这些分离支持对该方向作功能性的、与价值相关的解释，但不支持将其等同于一个历史不变的标量效价状态。
| 评论： | 19 页，13 幅图，10 张表 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2609.22850 [cs.LG] |
| （或使用 arXiv:2609.22850v4 [cs.LG] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2609.22850 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Weihan Li [查看电子邮件]
[v1]
2026年9月19日星期六 07:46:19 UTC（2,849 KB）
[v2]
2026年9月22日星期二 18:34:11 UTC（581 KB）
[v3]
2026年9月27日星期日 12:57:17 UTC（1,301 KB）
[v4]
2026年10月13日星期二 10:38:38 UTC（1,358 KB）
来源：arXiv cs.AI · arxiv.org