arXiv cs.CL· William Sheffield, Jiahui Chen, Amy Zhang, Alex Warstadt, Junyi Jessy Li, Kanishka Misra·· 6 天前AI 评分22
不只是评测：语言模型对语篇助词敏感性的案例研究
Not Just an Evaluation: A Case Study of Discourse Particle Sensitivity in Language Models
AI 导读
研究通过行为与机制分析考察 LLM 对英语语篇助词 "just" 和 "only" 的敏感性，发现 LLM 与人类一样偏好这些助词的出现，且对 "just" 比对 "only" 更敏感，指令微调会提升这种敏感性。
正文 · AI 翻译
摘要：话语助词通过反映会话语境和对话者态度，微妙地塑造话语的流动，往往不影响真值条件意义。它们通常还具有多功能性，其不同义项与其他助词部分重叠；例如，英语“just”和“only”的排他性用法（“John only/just drinks water”）。尽管这些词在自然语言中频繁出现，但由于其效果微妙，它们在很大程度上未得到研究。我们使用行为分析和机制分析，研究大语言模型在自然对话中对“just”和“only”的敏感性。首先，我们发现大语言模型和人类同样偏好这些助词在语境中出现，且两者对“just”比“only”更敏感。其次，当从带有和不带有这些助词的大语言模型采样时，我们发现大语言模型始终将其生成评为在其源语境下更可能，表明其对助词的敏感性。在两个实验中，指令微调都提高了敏感性。最后，我们定位了大语言模型中对助词敏感的单位，并发现“just”和“only”之间的重叠是不对称的：“only”单位选择性地迁移到排他性“just”，而所有“just”单位无论义项如何都同样好地迁移到“only”，表明大语言模型词汇层面的助词表征部分按义项组织。我们在此 https URL发布我们的代码、义项标注对话刺激和人类偏好标注。
| Subjects: | 计算与语言（cs.CL） |
| Cite as: | arXiv:2610.13794 [cs.CL] |
| （或 arXiv:2610.13794v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.13794 由 DataCite 颁发的 arXiv DOI（待注册） |
Submission history
From: Jiahui Chen [view email]
[v1]
Fri, 9 Oct 2026 16:07:24 UTC (569 KB)
来源：arXiv cs.CL · arxiv.org