芝加哥大学论文：LLM 自述决策关键因素不可靠
芝加哥大学：LLM 自述决策关键因素不可靠
芝加哥大学新论文发现，LLM 对自己决策关键因素的自我说明与实际影响其答案的变量并不一致，模型无法预测自身答案分歧所在的关键问题。研究让模型多次预测 59 场 March Madness 比赛和 15 个 Metaculus 事件，再用 reranker 比对预测对以找出争议事实，成本约为本地 LLM 评判的 1/86。
Rohan Paul· @rohanpaul_ai · X·2026-10-24 17:30· 25 分钟前AI 评分50
AI 导读
芝加哥大学新论文发现，LLM 对自己决策关键因素的自我说明与实际影响其答案的变量并不一致，模型无法预测自身答案分歧所在的关键问题。研究让模型多次预测 59 场 March Madness 比赛和 15 个 Metaculus 事件，再用 reranker 比对预测对以找出争议事实，成本约为本地 LLM 评判的 1/86。
正文 · 原文
芝加哥大学的一篇新论文指出，LLM 对自身决策中哪些因素重要的自述，并不能很好地反映其答案之间实际存在差异的地方。
LLM 无法预测自身答案在哪些关键问题上出现分歧，而只有对比大量答案才能揭示这一点。
当 LLM 给出推荐时，你会想知道它的关键分歧点，即驱动其结论的少数子问题。直接询问模型，或只读它的一个答案，成本低，但可能错过真正驱动它的因素。
他们让模型对 59 场 March Madness 比赛和 15 个 Metaculus 事件进行多次预测，然后对比成对的预测以找出有争议的事实。reranker 让这种匹配变得廉价，估计计算量比本地 LLM 评判少 86 倍。
在 March Madness 中，预测出的关键分歧点与真实分歧点的聚类重合率为 13.4%，低于随机打乱给出的 39.2%。单个答案表现更好，但只覆盖了 28.6% 的真实关键分歧点，而基线为 37.8%。
对于高风险决策，应采样大量答案并观察它们在哪里出现分歧，而不是信任模型自己列出的重要因素。
来源：Rohan Paul · x.com
来源：RadarAI · aihot.news