arXiv cs.AI· Huaman Sun, Dingcheng Wang, Jason Hartline, Jessica Hullman·· 11 小时前AI 评分31
诊断并改进大语言模型的概率推理能力
Diagnosing and Improving Probabilistic Reasoning in Large Language Models
AI 导读
研究提出一个决策论框架，将 LLM 的决策损失分解为"从证据形成准确信念"和"将信念转化为优化给定效用函数的行动"两部分，并用已知真值的合成基准刻画前沿与开源模型的概率推理表现。针对信念、决策或两者的 RL 干预在三个领域测试显示：单独针对某一成分会重新分配决策损失，改善目标成分但未必迁移到其他成分；联合训练两者可同时提升，但依赖训练与评估格式匹配。
正文 · AI 翻译
摘要：大型语言模型（LLM）越来越多地被提议作为决策助手，它们必须在明确的决策成本下，依据可用证据进行概率推理。我们提出了一个决策理论框架，将 LLM 的决策损失分解为两个组成部分：根据所提供的证据形成准确的信念，以及将这些信念转化为优化给定效用函数的行动。我们使用具有已知真实标签的合成基准，应用该分解来刻画前沿模型和开源模型中的概率推理。我们进一步评估了针对信念、决策或两者的强化学习干预是否能在三个领域中改善这些组成部分，改善是否能跨组成部分和引出格式迁移，以及决策性能是否能在信念形成没有改善的情况下得到提升。我们发现，针对概率推理的某一个组成部分会重新分配决策损失，改善目标组成部分，但不一定迁移到其他组成部分；而同时针对信念形成和决策进行干预会同时改善两者，但这取决于训练与评估之间的格式是否匹配。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2609.38005 [cs.AI] |
| （或本版本的 arXiv:2609.38005v3 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2609.38005 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Huaman Sun [查看邮箱]
[v1]
2026年9月29日星期二 16:55:50 UTC（508 KB）
[v2]
2026年10月6日星期二 18:09:00 UTC（501 KB）
[v3]
2026年11月5日星期四 02:21:56 UTC（515 KB）
来源：arXiv cs.AI · arxiv.org