arXiv cs.CL· Duaa Nakshbandi, Zhiyu An, Yiping Li, Sachin Giri, Wan Du·· 2 天前AI 评分34
LLM 能否表示复数谓述中的真值间隙？HomogeneityNLI 基准揭示 Bivalence Bias
Neither True nor False: Do LLMs Represent Truth-Value Gaps in Plural Predication?
AI 导读
研究者构建 HomogeneityNLI 诊断数据集（1,000 个最小对，覆盖 10 种逻辑条件），评测 7 个开放权重模型，发现普遍存在 Bivalence Bias：零样本下无模型能在超过 15% 的场景中同时识别两种极性的真值间隙，否定式复数定指在 84% 的情况下被判定为 False。
正文 · AI 翻译
摘要：大型语言模型（LLM）越来越多地被用于总结和验证关键来源中的主张，而这些主张会影响重大决策。此类主张中充满了复数定指。如果五名患者中有三名在服用药物 A 后好转，那么“这些患者在服用药物 A 后好转”这一主张并不为真，因为有两人没有好转；然而其否定形式“这些患者在服用药物 A 后没有好转”也不为真，因为有三人好转了。在形式语义学中，这种真值间隙被称为同质性间隙：当某一属性仅对复数指称对象中的一部分成立时，复数定指及其否定既不为真也不为假。无法表示这种间隙的模型会将混合证据转化为一个明确的裁决，这种错误在高风险使用中可能代价高昂。我们提出了 HomogeneityNLI，这是一个包含 1,000 个最小配对项目的诊断数据集，涵盖限定词、极性和群体构成，跨越十种逻辑条件。在评估七个开放权重模型后，我们发现了一种普遍的双值偏见：模型将复数定指赋予其同质真值条件。在零样本设置下，没有任何模型能在超过 15% 的场景中识别出两种极性的间隙，而否定定指在 84% 的情况下被判定为假。显式语言规则、思维链和枚举提示会产生不稳定的、因模型而异的效果，且往往会强化这种偏见。我们的发现表明，当前的开放权重 LLM 习得了复数谓述的真值条件，但未习得其三值逻辑，因此尚不能信任其总结或验证证据混合的主张。
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.14438 [cs.CL] |
| （或使用 arXiv:2610.14438v2 [cs.CL] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2610.14438 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Duaa Nakshbandi [查看电子邮件]
[v1]
2026年10月10日星期六 01:12:08 UTC（117 KB）
[v2]
2026年10月14日星期三 20:31:01 UTC（118 KB）
来源：arXiv cs.CL · arxiv.org