arXiv cs.CL· Patrik Wolf, Thomas Kleine Buening, Andreas Krause, Celestine Mendler-D\"unner·· 10 小时前AI 评分34
语言模型中的划分、提示与聚合:统计自一致性研究
Partition, Prompt, Aggregate: Statistical Self-Consistency in Language Models
AI 导读
研究者提出用统计自一致性检验 LLM 的条件推断能力:以二叉树递归划分人群、用提示词描述子群体并聚合估计值,发现前沿模型普遍违反全概率定律等基本一致性性质。研究还发现"宏观谬误"——由更细粒度子群体回答重建的估计往往比直接的人群级估计更贴近人类参考数据,说明模型具备相关子群体知识却未能可靠地传播到聚合估计中。该工作已被 NeurIPS 2026 主会接收。
正文 · AI 翻译
摘要:大型语言模型(LLM)常被用于执行某种形式条件推断。上下文学习是实现这一点的一种隐式方式。提示词指定了一个上下文,模型的输出被视为对相应条件分布的估计。如果这一解释成立,那么 LLM 的估计应当满足基本的概率恒等式。特别是,全概率定律断言:对于总体的任意有效划分,经先验加权的条件分布会聚合为总体层面的边缘分布。在本工作中,我们研究 LLM 估计在多大程度上遵循这一自一致性原则。我们使用二叉树作为评估支架,将总体递归划分为越来越细粒度的子总体。然后,我们在上下文中向 LLM 提供言语化的子总体描述,将得到的估计聚合回总体层面的估计,并在不同粒度的划分之间进行比较。将这些比较转化为基准分数,并在多个问题领域评估前沿模型,我们展示了基本一致性属性被广泛违反。对 persona prompting 的深入研究进一步揭示了一种我们称之为宏观谬误的模式:由更细粒度子总体响应重建的估计,往往比直接的总体层面估计更符合人类参考数据。这一效应在划分方式、言语化和估计任务的变化中持续存在,表明模型拥有相关的子总体知识,但未能可靠地将其传播到聚合估计中。这一差距确立了统计自一致性作为评估 LLM 的一项尚未饱和、无需参考的标准。
| 评论: | 已被 NeurIPS 2026 主会议接收 |
| 主题: | 计算与语言(cs.CL) |
| 引用为: | arXiv:2607.15277 [cs.CL] |
| (或 arXiv:2607.15277v2 [cs.CL] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2607.15277 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Patrik Wolf [查看电子邮件]
[v1]
2026年7月16日星期四 17:59:31 UTC(710 KB)
[v2]
2026年11月19日星期四 18:38:26 UTC(230 KB)
来源:arXiv cs.CL · arxiv.org