arXiv cs.CL· Jihyung Park, Minchao Huang, Leqi Liu, Elias Stengel-Eskin·· 11 小时前AI 评分31
PragReST：面向语用理解的自强化反事实推理框架
PragReST: Self-Reinforcing Counterfactual Reasoning for Pragmatic Language Understanding
AI 导读
PragReST 是一个自监督框架，通过构建语用 QA 数据、生成反事实推理轨迹并结合监督微调与强化学习，让 LLM 内化语用推理能力，无需人工标注数据或强教师模型蒸馏。
正文 · AI 翻译
摘要：自然语言理解往往依赖于隐含而非明确表达的含义，这需要语用推理。尽管大型语言模型（LLM）在数学和逻辑推理方面表现强劲，但它们在做出语用推断时仍存在困难，往往选择字面解释。为提升 LLM 的语用推理能力，我们提出了 PragReST，这是一个自监督框架，它构建语用问答数据、生成反事实推理轨迹，并通过监督微调和强化学习训练模型将其内化，且无需人工标注的训练数据或从更强的教师模型进行蒸馏。在四个语用基准（PragMega、Ludwig、MetoQA 和 AltPrag）上，PragReST 优于骨干模型、特定任务的语用调优基线以及同一流程的非反事实变体。在基于准确率的基准上，PragReST 相较指令骨干模型分别将 Qwen3-8B 和 Qwen3-14B 提升了 5.37 和 5.50 个百分点（绝对值）。我们的错误分析和消融实验强调了反事实推理的重要性：PragReST 主要减少了因未能将观察到的表述与合理替代方案进行对比而导致的错误，而移除反事实推理会显著降低性能。此外，我们的训练在通用知识和数学推理基准上保持了域外性能。
| 评论： | EMNLP 相机就绪版。前两位作者贡献相同。代码和模型：此 https URL |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2606.18624 [cs.CL] |
| （或 arXiv:2606.18624v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2606.18624 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Jihyung Park [查看电子邮件]
[v1]
2026年6月17日星期三 02:41:25 UTC（1,526 KB）
[v2]
2026年10月16日星期五 14:54:52 UTC（1,517 KB）
来源：arXiv cs.CL · arxiv.org