arXiv cs.CL· Jiawei Dong, Zilong Bai, Pengtian zhu, Peng Zhou·· 11 小时前AI 评分34
SOPO：用苏格拉底式引导策略优化做跨度级幻觉检测
SOPO: Socratic Guided Policy Optimization for Span-Level Hallucination Detection
AI 导读
SOPO 是一个多轮强化学习框架，通过教师模型依据标准答案提供间接提示的苏格拉底式反馈机制，缓解难样本奖励稀疏问题，并用 Turn-based Advantage Scaling 抑制冗长偏好。在 RAGTruth 上，4B 的 SOPO 达到 SOTA，超过 GPT-5 等闭源模型和标准 RL 基线，并在四个域外基准上平均分高于 GRPO。训练与评测代码及 1.7B、4B 模型已开源。
正文 · AI 翻译
摘要：大语言模型（LLM）已在各类自然语言处理任务中得到广泛采用，但存在幻觉问题，即生成不忠实或不一致的内容。尽管可验证奖励强化学习（RLVR）在推理任务中已展现出有前景的应用，但其在跨度级幻觉检测中的应用仍面临定位歧义、困难样本上的奖励稀疏以及长度膨胀失控等挑战。为解决这些问题，我们提出了苏格拉底引导策略优化（SOPO），一种用于稳健幻觉检测的多轮强化学习框架。SOPO 的核心创新是苏格拉底式反馈机制，即教师模型在 rollout 过程中通过提供从真实答案推断出的间接提示来引导推理轨迹。这种教师引导方法使模型能够为困难样本生成更有效的推理轨迹，从而缓解奖励稀疏问题。此外，我们引入了基于轮次的优势缩放来惩罚冗长偏好，鼓励模型发展高效且自主的推理能力。在 RAGTruth 上的实证结果表明，SOPO（4B）达到了最先进的性能，超越了领先的专有模型（如 GPT-5）和标准强化学习基线，同时在四个域外基准上获得了比 GRPO 更高的报告平均分，与 CAPO 相比证据不一。我们在 此 https URL 发布了训练和评估代码以及 1.7B 和 4B 的 SOPO 模型。
| 评论： | 24 页，11 张图 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.32212 [cs.CL] |
| （或 arXiv:2610.32212v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.32212 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Jiawei Dong [查看邮箱]
[v1]
2026 年 10 月 23 日星期五 06:08:17 UTC（1,341 KB）
来源：arXiv cs.CL · arxiv.org