arXiv cs.CL· Linghao Meng, Feng He, Xuan Yang, Junyuan Mao, Pinze Ren, Deqing Mu, Hesen Yang, Qiankun Li·· 10 天前AI 评分27
PHRBench：LLM 幻觉后推理的行为评估基准
PHRBench: A Behavioral Evaluation of Post-Hallucination Reasoning in LLMs
AI 导读
研究者提出 PHRBench，一个覆盖四个领域、18 个 LLM 的受控基准，用幻觉遵从、幻觉规避和启发式纠正三类行为刻画模型在幻觉前提下的推理轨迹。在 4820 个受控实例中，成功纠正并得出正确答案的情况相对罕见，且与推理过程中更频繁的信念更新相关。幻觉提示词本身的属性对成功恢复有显著预测力，轻量预测器 AUROC 达 0.847。
正文 · AI 翻译
摘要：幻觉信息可以在多阶段 LLM 系统中传播，并成为后续推理上下文的一部分。现有的幻觉后推理（PHR）研究主要刻画最终结果的变化和聚合推理动态，而对模型如何在响应层面解决幻觉前提的理解仍不充分。在这项工作中，我们提出了 PHRBench，一个用于跨四个领域、18 个大型语言模型的行为结构化 PHR 的受控基准。PHRBench 通过幻觉遵从、幻觉规避和启发式纠正，独立于最终答案正确性来刻画每条推理轨迹，并将一条有洞察力的轨迹定义为最终达到正确答案的成功纠正。在 4820 个受控实例中，我们发现成功恢复仍然相对罕见，并且与推理轨迹中更频繁的信念更新相关。我们进一步发现，幻觉提示的属性对成功恢复包含大量预测信号，一个轻量级预测器达到了 0.847 的 AUROC。这些发现提供了幻觉后推理的行为视角，刻画了 LLM 如何解决错误上下文以及成功恢复可能何时发生。
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.10455 [cs.CL] |
| （或 arXiv:2610.10455v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.10455 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Linghao Meng [查看电子邮件]
[v1]
2026年10月7日星期三 17:25:23 UTC（7,818 KB）
来源：arXiv cs.CL · arxiv.org