arXiv cs.CL· David Yiyang Liu, Aditya Joshi, Paul Dawson, Andrew Piper·· 6 天前AI 评分25
语言模型具有可解释的叙事机制
Language Models Have Interpretable Narrative Mechanisms
AI 导读
研究在 GPT-2-Small、Gemma-2-2B 和 Llama-3.1-8B 中识别出与叙事性相关的注意力头、MLP 神经元和稀疏自编码器特征。消融这些神经元和特征集后，高叙事性文本的下一 token 预测损失增幅大于低叙事性文本，开放式生成的叙事性也随之下降。下游基准中，故事补全和叙事问答任务受影响最大，但效果因模型和语言而异，虚构与幻觉基准结果则好坏参半。
正文 · AI 翻译
摘要：我们研究语言模型是否包含有助于表征叙事性（即文本展现叙事属性的程度）的内部组件。在 GPT-2-Small、Gemma-2-2B 和 Llama-3.1-8B 中，我们识别出激活与叙事性相关的注意力头、MLP 神经元和稀疏自编码器特征。消融选定的神经元和特征集后，高叙事性文本的下一词预测损失增加幅度大于低叙事性文本，并降低开放式生成的叙事性。在下游基准测试中，最大效应出现在故事补全和叙事问答任务上，尽管这些效应因模型和语言而异；在虚构和幻觉基准测试上的结果则好坏参半。这些发现提供了因果证据，表明选定的叙事相关组件集有助于模型行为，而它们的内部组织、与叙事理论的关系以及更广泛的功能仍是未解问题。
| 评论： | 24 页，5 幅图，16 张表 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.12989 [cs.CL] |
| （或 arXiv:2610.12989v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.12989 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
发件人：David Liu [查看电子邮件]
[v1]
2026年10月9日星期五 04:45:52 UTC（524 KB）
来源：arXiv cs.CL · arxiv.org