arXiv cs.CL· Jungseob Lee, Seungyoon Lee, Hyeonseok Moon, Seongtae Hong, Suhyune Son, Sugyeong Eo, Minhyuk Kim, Chanjun Park, Jaehyung Seo·· 12 小时前AI 评分31
Accept or Repair：在对比解码中保留段落支持的答案
Accept or Repair: Preserving Passage-Supported Answers in Contrastive Decoding
AI 导读
研究者提出免训练的 Accept-or-Repair（AoR）方法：若段落支持采样答案则保留，否则用对比解码最多替换两次，并在替换结果与无段落答案重复而段落倾向其他答案时拒绝该替换。实验显示 AoR 在反事实段落上比采样高 12.5 分、普通段落高 2.3 分，在两个场景均超过八个对比解码与提示基线。仅替换段落不支持的初始答案即可提升每种解码器的平均分。
正文 · AI 翻译
摘要：大型语言模型常常依据训练期间学到的知识作答，即使所提供的段落与该知识相矛盾。为解决这一问题，对比解码会在每个 token 上对比完整提示与修改后提示下的预测，但它也会改变段落所支持的正确答案。我们表明，对照段落检查答案可以消除这一权衡。基于这一观察，我们提出 Accept-or-Repair（AoR），一种无需训练的过程。若段落支持某个采样答案，AoR 就保留它。否则，它尝试最多两次使用对比解码的替换，一旦某个替换通过该检查就立即返回。当段落更支持另一个答案时，它会拒绝那些重复无段落时生成答案的替换。我们的实验表明，AoR 在反事实段落上比采样提高 12.5 分，在普通段落上提高 2.3 分，在这两类段落上均超过八个对比解码与提示基线，包括在各自接受相同拒绝规则时。仅替换段落不支持的初始答案可提高每个解码器的平均得分。这些结果表明，模型能够遵循与其知识相矛盾的段落，同时在与之一致的段落上保持准确率。代码将发布于 此 https URL。
| 评论： | 21 页，5 幅图。代码将发布于 此 https URL |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.29727 [cs.CL] |
| （或 arXiv:2610.29727v1 [cs.CL] 为此版本） | |
| https://doi.org/10.48550/arXiv.2610.29727 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Seungyoon Lee [查看邮箱]
[v1]
2026 年 10 月 21 日星期三 13:32:29 UTC（126 KB）
来源：arXiv cs.CL · arxiv.org