arXiv cs.CL· Ryan Cotterell·· 10 天前AI 评分24
Surprisal 理论是同义反复（缺乏理性基础）
Surprisal Theory is Tautological (without Rational Grounding)
AI 导读
一篇 EMNLP 2026 论文指出，Surprisal 理论主张语言单位的加工难度是其在大语言模型下 surprisal 的仿射函数，但该主张在缺乏额外约束时是同义反复：对任意非负难度度量，都存在一个语言模型使其 surprisal 与之成仿射关系，因此该理论无法做出可证伪预测。
正文 · AI 翻译
摘要：惊奇度理论认为，人类在语境中对某一语言单位的加工难度，是该单位在某个语言模型下惊奇度的仿射函数。我认为，若不附加进一步约束，这一主张是同义反复：对于语境中任何非负的单位难度度量，在温和的技术条件下，都存在一个语言模型，其惊奇度是该度量的仿射函数。因此，由于任何难度模式都与某个语言模型相容，若不对语言模型附加额外约束，惊奇度理论就无法做出可证伪的预测。这一同义反复长期被二十年来心理语言学研究中隐含的一个假设所掩盖——即相关语言模型是生成训练语料的分布，因此改善语料拟合就能改善对人类行为的预测。近期的实证工作已削弱了这一假设，表明更好的语料模型可能反而是更差的加工难度预测器。我的结论是，打破这一同义反复需要一次理性主义干预，即相关语言模型必须源自一个非经验驱动的理解者模型，该模型可以基于例如记忆约束或加工目标，因此不依赖于惊奇度理论所要解释的行为数据。
| 评论： | EMNLP 2026 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2607.21574 [cs.CL] |
| （或 arXiv:2607.21574v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2607.21574 arXiv 颁发的 DOI，经由 DataCite |
提交历史
来自：Ryan Cotterell [查看邮箱]
[v1]
2026年7月23日星期四 17:54:37 UTC（44 KB）
[v2]
2026年10月6日星期二 19:31:53 UTC（46 KB）
来源：arXiv cs.CL · arxiv.org