arXiv cs.CL· Tobias Bersia, Tatiana Gaintseva·· 11 小时前AI 评分12
微调后的 Activation Oracles 为何学不会读取：概念特定的盲区
When Activation Oracles Learn Not to Read: Concept-Specific Blind Spots in Fine-Tuned Oracles
AI 导读
研究发现，在 Taboo Word Guessing 设定下微调的 Activation Oracles（AOs）会变成概念特定的"反读取器"，选择性地无法恢复其训练中持续存在的隐藏概念。
正文 · AI 翻译
本文已被 Tatiana Gaintseva 撤回
摘要：激活预言机（Activation Oracles，AOs）是被训练用来回答关于另一个模型内部激活的自然语言问题的语言模型。它们提供了一个灵活的接口，用于从模型状态中读取隐藏信息，尤其是当相关信息在内部被表示、但在可见行为中缺失或不完整时。然而，AOs 本身也是学习系统：它们的回答由训练数据、目标和学习到的报告行为所塑造，而不是对所表示信息的中立读出。我们在一个受控的禁忌词猜测（Taboo Word Guessing）设置中研究这一点，其中主体模型被微调为在内部使用一个隐藏概念，同时避免直接披露。与“在此类主体上训练的 AO 会成为专家读者”的预期相反，我们发现微调后的 AOs 可能成为概念特定的反读者：它们选择性地无法恢复在其自身训练期间持续存在的概念。这种失败不能简单地用主体或预言机表示中缺少该概念来解释：目标在预言机内部仍然可解码，而 LogitLens 和层消融分析表明，失败出现在 AO 读出路径中。我们的结果表明，行为泄漏、表示级可解码性和 AO 可言语化可能彼此分离，这为学习型可解释性接口提出了可靠性担忧。
| 评论： | 实验结果中发现了一个错误，因此本文当前版本所呈现的结果是不正确的 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2607.23379 [cs.CL] |
| （或 arXiv:2607.23379v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2607.23379 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Tatiana Gaintseva [查看电子邮件]
[v1]
2026年7月25日星期六 21:58:17 UTC（2,172 KB）
[v2]
2026年11月5日星期四 01:47:04 UTC（1 KB）（已撤回）
来源：arXiv cs.CL · arxiv.org