arXiv cs.CL· Andrea Blasi N\'u\~nez, Gianluca Barmina, Federico Torrielli, Thiusius Rajeeth Savarimuthu, Peter Schneider-Kamp, Lukas Galke Poech·· 12 小时前AI 评分31
自然语言自编码器（NLA）能否泛化？新研究验证激活差异可被自然语言表达
Verbalizing Activation Differences with Natural Language Autoencoders
AI 导读
研究围绕四个问题检验自然语言自编码器（NLA）的泛化能力：在来自三个模型家族的四个模型上，NLA 对组合类比激活的表述大多只点出目标词、极少提及被减去的词，且无需重训即可复用于原模型的轻量微调版本，仅最大模型的重建质量明显下降。
正文 · AI 翻译
摘要：激活语言化器将大型语言模型的内部表示转换为人类可读的文本。最近提出的自然语言自编码器（NLA）通过自然语言瓶颈重建激活来实现这一点。然而，这些方法在训练设定之外的泛化能力仍不清楚。本文围绕四个密切相关的问题，针对 NLA 研究这一问题：(i) NLA 的语言化输出是否相对于其输入表现出组合结构？(ii) NLA 能否泛化到其所训练模型的微调版本？(iii) NLA 能否在模型差异分析中恢复微调目标？(iv) NLA 能否专门用于模型差异分析？在来自三个模型家族的四个模型上，我们的实验为这四个问题提供了大体肯定的证据。具体而言，组合类比激活的语言化输出大多会说出目标词，而很少提及被减去的词；NLA 无需重新训练即可复用于其原始模型的轻量级微调版本，且重建质量仅在最大模型上出现明显下降。对 Taboo 模型生物体与其原始模型之间的激活差异进行语言化，可为大多数生物体恢复出隐藏的秘密词，而基于激活差异的强化学习进一步提升了在留出生物体上的恢复效果。我们还发现，NLA 无需微调模型生成任何 token 即可恢复微调目标，因为信息量最大的 token 位置位于用户提示之前。在涌现性失准检测任务上，NLA 尚未达到最先进的模型差异分析方法，但优于黑盒基线。我们的发现表明，NLA 能够有意义地对激活空间中的差异进行语言化，使其成为未来工作的一个有前景的方向。
| 评论： | 审稿中 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.30934 [cs.CL] |
| （或 arXiv:2610.30934v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.30934 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Andrea Blasi Núñez [查看邮箱]
[v1]
2026年10月22日 星期四 08:54:58 UTC（2,746 KB）
来源：arXiv cs.CL · arxiv.org