arXiv cs.CL· Xiaomeng Hu, Jiaqi Hu, Hao Chen, Qi Zhang, Zhanming Shen, Wentao Ye, Junbo Zhao·· 2 天前AI 评分29
针对 LLM 推理幻觉的 SSC-GRPO：步级自洽性组相对策略优化
Reasoning Error from Known Fact: Step-Level Self-Consistency Group Relative Policy Optimization for LLMs
AI 导读
研究者提出 Step-level Self-Consistency Group Relative Policy Optimization（SSC-GRPO），通过计算多次 rollout 中单个推理步骤的自洽性分数，为推理轨迹分配步级奖励。
正文 · AI 翻译
摘要：随着大语言模型（LLM）的快速发展，现代系统不仅具备强大的基础能力和广泛的知识，还能通过长链条、多步推理解决复杂问题。然而，随着推理轨迹变长，LLM 在推理过程中可能产生大量幻觉内容，且往往难以检测。在本工作中，我们对 LLM 推理中出现的幻觉进行了细粒度分析，发现推理轨迹特别容易出现上下文敏感的事实性幻觉：即模型实际上具备相关知识，但在推理过程中因上下文干扰而产生事实错误。为解决这一问题，我们提出了步级自洽性组相对策略优化（SSC-GRPO），通过计算多次采样中各个步骤的自洽性得分，为推理轨迹分配步级奖励。与先前方法相比，SSC-GRPO 在数学推理基准和幻觉排行榜上均取得了最先进的性能。我们的结果为检测和缓解大语言模型推理过程中的幻觉提供了新视角。
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2607.18915 [cs.CL] |
| （或 arXiv:2607.18915v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2607.18915 arXiv 颁发的 DOI，经由 DataCite |
提交历史
来自：Xiaomeng Hu [查看邮箱]
[v1]
2026年7月21日星期二 09:56:58 UTC（544 KB）
[v2]
2026年10月15日星期四 08:25:16 UTC（578 KB）
来源：arXiv cs.CL · arxiv.org