arXiv cs.CL· Shiping Yang, Shining Liang, Weihao Liu, Wenbiao Ding, Linjun Shou, Lu Cheng, Angel X. Chang·· 10 天前AI 评分27
Hallucination Self-Play：用进化生成器自举强化检测器
Hallucination Self-Play: Bootstrapping Reinforced Detector via Evolved Generator
AI 导读
研究提出 Hallucination Self-Play（HSP）框架，让检测器与生成器从同一基座模型出发协同进化：检测器先在人工标注数据上微调，再作为奖励模型通过 RLAIF 训练生成器，进化后的生成器又合成幻觉数据、以基于规则的强化学习反哺检测器。
正文 · AI 翻译
摘要：由于高质量标注数据稀缺，识别 LLM 生成输出中的忠实性幻觉仍然具有挑战性。近期工作依赖先进的 LLM 来合成训练数据，包括推理依据、标签和幻觉性主张。然而，这些方法将生成器视为静态组件，限制了检测器的迭代改进。为解决这一局限，我们提出了幻觉自博弈（HSP），一种使检测器能够与进化后的生成器进行自举的新框架。HSP 涉及两个从同一基础模型初始化的角色：评估模型输出忠实性的检测器，以及生成越来越难以检测的幻觉响应的生成器。具体而言，检测器首先在人工标注数据上进行微调，然后作为奖励模型，通过来自 AI 反馈的强化学习（RLAIF）来训练生成器。反过来，进化后的生成器合成幻觉数据，通过基于规则的强化学习进一步优化检测器。在 RAGTruth 和 LLM-AggreFact 上跨三个模型家族的实验表明，所提出的框架能够逐步增强一个小型 LLM，使其在无外部监督的情况下达到甚至超越先进 LLM。我们的代码可在 此 https URL 获取。
| 评论： | COLM 2026 |
| 主题： | 计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2607.07993 [cs.CL] |
| （或 arXiv:2607.07993v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2607.07993 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Shiping Yang [查看电子邮件]
[v1]
2026年7月8日星期三 23:54:36 UTC（160 KB）
[v2]
2026年10月7日星期三 00:12:14 UTC（165 KB）
来源：arXiv cs.CL · arxiv.org