arXiv cs.CL· Ning Li, Zixuan Guo, Yan Xu, Wenbo Fei, Yifan Niu, Chang Luo, Yasheng Wang, Weiwen Liu, Yong Yu, Weinan Zhang·· 10 小时前AI 评分31
BALTO：面向幻觉缓解的平衡 Token 级策略优化框架
BALTO: Balanced Token-Level Policy Optimization for Hallucination Mitigation
AI 导读
BALTO 提出一种平衡 Token 级策略优化框架，通过提取可核查的事实性声明、对照参考上下文验证并映射为 Token 级标签，将概率质量从无支撑内容重新分配给忠实内容。在 ConFiQA、RAGTruth 和 FinLLM-Eval 上，BALTO 在全部六种模型-基准组合中取得最高忠实度，Q-Score 持续优于现有后训练基线。代码已开源。
正文 · AI 翻译
摘要：幻觉仍然是大型语言模型（LLM）在知识密集型场景中部署的主要障碍，在这些场景中，生成的回答必须忠实地基于所提供的证据。强化学习（RL）是缓解幻觉的一个有前景的方向，但响应级忠实度奖励存在粒度不匹配的问题：局部幻觉可能导致有支持的内容受到虚假惩罚。尽管近期工作引入了细粒度反馈，如声明级验证和 token 级奖励，但不平衡的信用分配仍可能引入长度、冗长或优化噪声偏差。我们提出 BALTO，一个用于缓解幻觉的平衡 token 级策略优化框架。BALTO 提取可核查的事实性声明，将其与参考上下文进行验证，并将声明级判断投影为 token 级标签。该框架中引入了平衡的 token 级信用分配机制。这一设计将概率质量从无支持的内容重新分配到忠实的内容，而不是抑制整个响应。我们从理论角度系统分析了响应级奖励的局限性，并证明了 BALTO 在缓解幻觉方面于训练稳定性和优化效率上的优势。在 ConFiQA、RAGTruth 和 FinLLM-Eval 上的实验表明，BALTO 在所有六种模型—基准设置中均实现了最高的忠实度，并在 Q-Score 上持续优于现有的后训练基线，展现出更强的忠实度—信息量权衡。代码发布于 此 https URL。
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2606.15893 [cs.CL] |
| （或 arXiv:2606.15893v3 [cs.CL] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2606.15893 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Ning Li [查看邮箱]
[v1]
2026年6月14日周日 16:25:59 UTC（284 KB）
[v2]
2026年6月22日周一 03:05:35 UTC（284 KB）
[v3]
2026年11月10日周二 17:43:32 UTC（291 KB）
来源：arXiv cs.CL · arxiv.org