arXiv cs.CL· Michael A. Lepori, Jennifer Hu, Ishita Dasgupta, Roma Patel, Thomas Serre, Ellie Pavlick·· 3 天前AI 评分26
语言模型表征能否反映人类对事件可能性的判断？
Is This Just Fantasy? Language Model Representations Reflect Human Judgments of Event Plausibility
AI 导读
研究在多种语言模型内部识别出可区分情态类别（可能、不可能、完全无意义等）的线性表征，称为情态差异向量，其判断可靠性高于此前报道。这些向量随训练步数、层数和参数规模增加按一致顺序出现，且可用于建模人类细粒度分类行为。
正文 · AI 翻译
摘要：语言模型（LM）被用于从问答到撰写奇幻故事等各种任务。为了可靠地完成这些任务，语言模型必须能够辨别句子的情态类别（即，它描述的是可能、不可能、完全无意义等）。然而，近期研究对语言模型按情态对句子进行分类的能力提出了质疑（Michaelov et al., 2025; Kauf et al., 2023）。在本工作中，我们在多种语言模型中识别出能够区分情态类别的线性表示，即情态差异向量。对情态差异向量的分析表明，语言模型能够获得比此前报道更可靠的情态分类判断。此外，我们发现随着模型能力增强（即通过训练步数、层数和参数数量），情态差异向量以一致的顺序出现。值得注意的是，我们发现语言模型激活中识别出的情态差异向量可用于建模细粒度的人类分类行为。这可能为人类参与者如何区分情态类别提供新的视角，我们通过将沿情态差异向量的投影与人类参与者对可解释特征的评分相关联来对此进行探索。总之，我们利用机制可解释性技术获得了关于语言模型情态分类的新见解，这有可能增进我们对人类情态分类的理解。
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2507.12553 [cs.CL] |
| （或本版本的 arXiv:2507.12553v4 [cs.CL]） | |
| https://doi.org/10.48550/arXiv.2507.12553 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Michael Lepori Jr. [查看电子邮件]
[v1]
2025年7月16日星期三 18:04:26 UTC（659 KB）
[v2]
2026年2月25日星期三 23:03:52 UTC（675 KB）
[v3]
2026年4月27日星期一 19:53:17 UTC（681 KB）
[v4]
2026年10月13日星期二 21:05:35 UTC（681 KB）
来源：arXiv cs.CL · arxiv.org