arXiv cs.CL· Peter Potash·· 11 小时前AI 评分34
前沿语言模型的概率判断是否遵守全概率公式？GPT-6.1 Sol 与 Claude Opus 5.5 一致性最佳
Latent Coherence: Do Frontier Language Models' Probability Judgments Obey the Law of Total Probability?
AI 导读
研究零样本检验七款前沿模型在潜在变量需从上下文推断时，其概率判断是否满足全概率公式。GPT-6.1 Sol 与 Claude Opus 5.5 平均绝对残差最低（0.08 和 0.12 log-odds。
正文 · AI 翻译
摘要：LawZero 的 Scientist AI 训练一个 Predictor 逼近贝叶斯后验，其目标函数会惩罚潜在解释之间不一致的概率。我们考察当前的前沿语言模型在没有此类训练的情况下，是否已经零样本地在这个意义上保持一致：当潜在变量 $z$ 必须从上下文中的记录推断时，它们的概率判断是否满足全概率公式 $P(X)=\sum_z P(z)P(X|z)$？在各自独立的单轮调用中，模型被要求给出 $P(X)$、潜在变量各状态上的 $P(z)$，以及 $P(X|z)$；一个因果族对 $P(y|do(x))$ 和后门调整施加同样的测试。每个查询都有精确的真实概率，并且一部分条目以三种措辞提问，以区分持续性的不一致与措辞噪声。在七个模型中，GPT-6.1 Sol 和 Claude Opus 5.5 最为一致（平均绝对残差为 0.08 和 0.12 对数几率，约 2 个百分点）。Claude Haiku 5.5、Gemini 3.8 Flash 和 DeepSeek V4-Pro 表现出持续性的不一致（0.27-0.35 对数几率），且这种不一致主要是条目特有的，而非共同的偏移。在每个模型内部，残差越大，相对于真值的误差也越大（Spearman 0.40-0.62），因此无需真值的残差可以标记出不可靠的回答。推理长度不能预测一致性，无论是在模型之间，还是在同一模型内对同一问题的不同措辞之间。简单的一致性检查几乎处处通过；失败之处特定于通过潜在变量进行推理。代码和数据：此 https URL
| 评论： | 15 页 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.31833 [cs.CL] |
| （或 arXiv:2610.31833v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.31833 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Peter Potash [查看电子邮件]
[v1]
2026 年 10 月 22 日星期四 19:12:58 UTC（42 KB）
来源：arXiv cs.CL · arxiv.org