arXiv cs.CL· Kristina \v{S}ekrst, Barbara Geld·· 11 小时前AI 评分31
研究指出 Natural Language Autoencoders 只能识别激活、无法解释其含义
Natural Language Autoencoders Identify Without Explaining
AI 导读
针对 Natural Language Autoencoders（NLAs）以“解释能否重建原激活”作为成功标准，该研究指出这一标准只检验信息是否充分，并不检验描述是否忠实：一句话即使错误解释了激活的作用，也可能足以识别该激活。
正文 · AI 翻译
摘要：自然语言自编码器（NLA）以可读文本的形式表达模型的内部激活。语言化器将激活转换为英文解释；重建器随后将该解释转换回激活，如果往返过程能还原原始激活，则认为该解释成功。我们主张，这一标准评估的是信息是否充分，并未涉及描述忠实性。一个句子即使错误地解释了激活的作用，也可能包含足以识别该激活的信息：就重建而言，首要目标是准确识别激活，而非描述激活。该问题与思维链忠实性问题具有相同的结构，即把经过训练、与某一过程相伴的语言输出当作对该过程的报告；它也与人类心理学中记录的个体内省报告与实际支配过程之间的分离相平行。尽管 NLA 是作为服务于对齐目的的可解释性工具而提出的，但它们通过未经核实的解释，重新引入了其本欲解决的认知论问题。
| 评论： | ISPSM 2026 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.32691 [cs.CL] |
| （或 arXiv:2610.32691v1 [cs.CL] 为本版本） | |
| https://doi.org/10.48550/arXiv.2610.32691 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Kristina Šekrst [查看邮箱]
[v1]
2026年10月23日星期五 14:20:29 UTC（87 KB）
来源：arXiv cs.CL · arxiv.org