arXiv cs.CL· Shani Goren, Ido Galil, Ran El-Yaniv·· 11 小时前AI 评分38
论文提出 Selective Abstraction:让 LLM 对不确定内容降低具体程度以提升长文可靠性
When Should LLMs Be Less Specific? Selective Abstraction for Reliable Long-Form Text Generation
AI 导读
研究者提出 Selective Abstraction(SA)框架,让 LLM 通过选择性降低不确定内容的细节程度,在具体性与可靠性之间做权衡。
正文 · AI 翻译
摘要:LLMs 已被广泛使用,但它们仍然容易出现事实性错误,这会削弱信任并限制其在高风险场景中的应用。缓解这一风险的一种方法是让模型具备不确定性估计机制,在置信度低时选择弃答。然而,这种二元的“全有或全无”方法在长文本场景中过于严格,往往会丢弃有价值的信息。我们提出选择性抽象(Selective Abstraction,SA),这是一个让 LLMs 通过有选择地降低不确定内容的细节程度,以特异性换取可靠性的框架。我们通过选择性风险和覆盖率对 SA 进行形式化,并提出原子级选择性抽象(Atom-wise Selective Abstraction),这是一种声明级实例化方法,将回答分解为原子声明,并用置信度更高、特异性更低的抽象替换不确定的原子。我们开发了一种新颖的端到端流程来评估长文本生成,该流程将风险实例化为事实正确性,并将覆盖率衡量为保留的信息量。我们在五个 LLMs 和两个长文本事实性基准上进行的全面实证评估表明,原子级 SA 能持续改善风险-覆盖率权衡,优于七种基线方法,包括声明移除、自我修订、基于采样的聚合和验证链。与声明移除相比,它将 AURC 最多提升了 35.61%,表明降低特异性可在保留大量信息的同时提升可靠性。我们进一步提供了一种风险引导流程,用于选择满足目标风险的置信度阈值。
| 评论: | 被接收为 NeurIPS 2026 海报 |
| 主题: | 人工智能(cs.AI);计算与语言(cs.CL);机器学习(cs.LG) |
| 引用为: | arXiv:2602.11908 [cs.AI] |
| (或 arXiv:2602.11908v4 [cs.AI] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2602.11908 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Shani Goren [查看邮箱]
[v1]
2026年2月12日星期四 13:06:14 UTC(640 KB)
[v2]
2026年2月13日星期五 13:48:01 UTC(640 KB)
[v3]
2026年6月1日星期一 21:45:36 UTC(640 KB)
[v4]
2026年11月1日星期日 11:42:50 UTC(741 KB)
来源:arXiv cs.CL · arxiv.org