arXiv cs.CL· Qian-Wen Zhang, Biao Liu, Fang Li, Jie Wang, Lingfeng Qiao, Yifei Yu, Di Yin, Xing Sun·· 2 天前AI 评分35
FactGuard：检测不可回答问题以提升长上下文推理可靠性
Towards Reliable Long-Context Reasoning: Detecting Unanswerable Questions via FactGuard
AI 导读
研究者提出 FACTGUARD 多任务工作流及 FACTGUARD-BENCH 基准，包含 25,220 个样本、上下文长度最高 128K，针对证据缺失与误导性证据场景。对 11 个开源与闭源 LLM 的评测显示，随上下文增长模型难以拒绝不可回答问题，最佳模型准确率仅 71.62%；用该基准训练后整体准确率提升至 81.17%。
正文 · AI 翻译
摘要：尽管大语言模型（LLMs）在长上下文任务中取得了成功，但它们在识别无法回答的问题方面的可靠性仍然是一个关键挑战。在信息检索场景中，当证据缺失或具有误导性时，模型往往会出现过度自信和幻觉。在本文中，我们提出了 FACTGUARD，一个系统性的多任务工作流，用于生成基于证据的可回答和不可回答问题。我们引入了 FACTGUARD-BENCH，一个包含 25,220 个示例、上下文长度最高达 128K 的基准，专门针对证据缺失和误导性证据场景。对十一个具有代表性的开源和专有 LLM 的评估揭示了一个显著的可靠性差距：随着上下文规模扩大，模型难以拒绝无法回答的问题，领先模型仅达到 71.62% 的准确率。通过使用 FACTGUARD-BENCH 进行训练，我们将整体准确率提升至 81.17%，并显著增强了模型的推理式拒绝能力。我们的工作为构建更忠实、更可信的长上下文 LLM 提供了一条可扩展的路径。我们的源代码公开于 此 https URL。
| 学科： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2504.05607 [cs.CL] |
| （或 arXiv:2504.05607v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2504.05607 由 DataCite 颁发的 arXiv DOI |
|
| 期刊 参考： | EMNLP 2026 |
提交历史
来自：Qian-Wen Zhang [查看电子邮件]
[v1]
2025年4月8日星期二 01:45:16 UTC（1,225 KB）
[v2]
2026年10月15日星期四 08:24:58 UTC（4,070 KB）
来源：arXiv cs.CL · arxiv.org