Meta 与密歇根州立大学论文：LLM 推理图质量参差，错误会传导至置信度分数

Rohan Paul· @rohanpaul_ai · X·2026-10-22 13:27· 47 分钟前AI 评分43

AI 导读

Meta 与密歇根州立大学的新论文发现，LLM 构建的推理图质量差异很大，且图中的错误会传导到基于图计算的置信度分数上。研究测试了 9 个模型，从给定步骤到完全自建图逐步减少辅助，结果显示图质量更多与模型家族和图结构相关，而非模型规模，Qwen3-32B 回答子问题的表现甚至不如 Qwen3-8B。作者建议在信任基于 LLM 推理图得出的答案或置信度之前，先检查图本身。

正文 · 原文

Meta 与密歇根州立大学的新论文发现，LLM 构建的推理图质量差异很大，且其中的错误会传导到由这些图计算出的置信度分数上。

许多方法将问题拆分为子问题图，再在其上计算答案或置信度。它们假定 LLM 生成的图是正确的，而这一点很少被检查。

他们测试了 9 个模型，辅助程度逐步降低，从连接给定步骤到构建完整图。质量更多与模型家族和图结构相关，而非规模，Qwen3-32B 回答子问题的表现甚至不如 Qwen3-8B。

如果你要基于 LLM 生成的推理图进行构建，请先检查图本身，再信任由其计算出的答案或置信度。

来源：Rohan Paul · x.com