arXiv cs.CL· Jason Chan, Zhixue Zhao, Robert Gaizauskas·· 2 天前AI 评分26
用 LLM 生成调和性解释以化解矛盾陈述
Explanation Generation for Contradiction Reconciliation with LLMs
AI 导读
研究者提出"调和性解释生成"任务,要求模型生成能让矛盾陈述变得兼容的解释,并复用 NLI 数据集、引入可规模化自动评估的质量指标。对 13 个 LLM 在 thinking 与非 thinking 模式下的实验显示,模型在该任务上成功率有限,且更长的推理链与解释成功呈负相关。
正文 · AI 翻译
摘要:现有 NLP 工作通常将矛盾视为需要通过选择接受或舍弃哪些陈述来解决的错误。然而,在社会和专业环境中,人类推理的一个关键方面是能够假设出调和矛盾的解释。例如,“Cassie 讨厌咖啡”和“她每天都买咖啡”看似矛盾,但如果 Cassie 被分配了每天为所有同事买咖啡的日常杂务,那么它们实际上是相容的。尽管大语言模型(LLM)的推理能力取得了进步,但它们假设此类解释的能力在很大程度上仍未被探索。为填补这一空白,我们引入了调和性解释生成任务,即模型必须生成能有效使矛盾陈述相容的解释。我们提出了一种复用自然语言推理(NLI)数据集的新方法,并引入了可实现可扩展自动评估的质量指标。在思考与非思考模式下对 13 个 LLM 进行的实验表明,模型在此任务上的成功率有限,且更长的推理链与解释成功呈负相关。作为概念验证,我们进一步将所引入的任务和指标适配用于强化学习训练,发现训练后的模型在非思考模式下在两个叙事推理基准(True Detective 和 MuSR)上表现出更高的准确率。我们的发现凸显了调和性解释生成是 LLM 推理中的一项挑战,并推动进一步研究其提升模型能力的潜力。
| 评论: | 预印本 |
| 学科: | 计算与语言(cs.CL) |
| 引用为: | arXiv:2603.22735 [cs.CL] |
| (或 arXiv:2603.22735v3 [cs.CL] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2603.22735 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Jason Chan [查看电子邮件]
[v1]
2026年3月24日星期二 03:00:17 UTC(471 KB)
[v2]
2026年5月27日星期三 16:28:11 UTC(478 KB)
[v3]
2026年10月15日星期四 15:55:04 UTC(458 KB)
来源:arXiv cs.CL · arxiv.org