arXiv cs.CL· Jingfeng Chen, Raghuveer Thirukovalluru, Junlin Wang, Kaiwei Luo, Bhuwan Dhingra·· 11 小时前AI 评分31
ACPO：面向长文本问答的自监督原子一致性偏好优化
Atomic Consistency Preference Optimization for Long-Form Question Answering
AI 导读
研究者提出原子一致性偏好优化（ACPO），一种无需外部监督的自监督偏好微调方法，利用多个随机回答中单个事实的一致性信号筛选高质量与低质量数据对，用于模型对齐。在 LongFact 和 BioGen 数据集上，ACPO 在 Phi-3 与 Llama3 上的平均表现超过强监督对齐基线 1.95 分，且不依赖 GPT-4 等更强模型或外部知识库。
正文 · AI 翻译
摘要：大型语言模型（LLM）经常产生事实性幻觉——看似合理但实际错误的答案。一种常见的缓解策略是模型对齐，即通过在精选的（事实性、非事实性）数据对上进行训练来提高事实准确性。然而，这种方法通常依赖更强的模型（如 GPT-4）或外部知识库来评估事实正确性，而这些资源未必总是可用。为此，我们提出了原子一致性偏好优化（ACPO），这是一种自监督的偏好调优方法，无需外部监督即可提升事实准确性。ACPO 利用原子一致性信号（即单个事实在多个随机响应之间的一致性）来识别用于模型对齐的高质量和低质量数据对。尽管完全自监督，ACPO 在 LongFact 和 BioGen 数据集上于 Phi-3 和 Llama3 上平均超越强监督对齐基线 1.95 分，表明其在不依赖外部模型或知识库的情况下提升事实可靠性的有效性。
| 评论： | 13 页，1 张图 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2505.09039 [cs.CL] |
| （或 arXiv:2505.09039v3 [cs.CL] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2505.09039 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Raghuveer Thirukovalluru [查看邮箱]
[v1]
2025 年 5 月 14 日星期三 00:39:47 UTC（2,142 KB）
[v2]
2025 年 11 月 10 日星期一 04:08:26 UTC（1,855 KB）
[v3]
2026 年 10 月 16 日星期五 13:28:17 UTC（1,850 KB）
来源：arXiv cs.CL · arxiv.org