arXiv cs.CL· Haeun Yu, Geert Heyman, Pepa Atanasova, Isabelle Augenstein·· 12 小时前AI 评分39
推理时上下文增强方法的现实检验：准确率提升未必是真改进
A Reality Check of Inference-Time Context Augmentation Methods
AI 导读
一项评估框架对五类推理时上下文增强方法在七个模型、三个数据集上做了句子级测试，发现准确率提升并非都是真实改进，而是无方向扰动——方法在修正部分预测的同时破坏了另一些预测。不引入额外内容、仅增加计算时间的方法，主要改变的是决策边界附近的模型预测。研究因此指出，采用这类方法前需先评估其准确率增益的可靠性。
正文 · AI 翻译
摘要：大型语言模型（LLM）往往无法利用输入中提供的上下文，从而导致幻觉或退回到参数化知识。上下文增强方法旨在通过修改输入来提升模型性能，从插入增加计算时间的填充 token，到在推理过程中添加相关内容（如对上下文的详细阐述）。然而，这些方法此前都是被孤立评估的，且仅依据其性能提升来评判，因此尚不清楚它们之间如何比较，以及它们是否能可靠地提升性能。在本文中，我们提出了一个评估框架，涵盖五种在插入内容的信息量上有所不同的方法，并在句子级别上将其应用于七个不同规模的模型、三个数据集。我们发现，准确率的提升并不总是真正的改进，而是无方向的扰动：这些方法在纠正一些预测的同时也破坏了另一些预测，尤其是当插入的文本仅能提供更多计算时间时。我们的分析表明，不带来额外内容的方法主要改变决策边界附近的模型预测。我们的发现凸显了在实践中采用这些方法之前，有必要评估其准确率提升的可靠性。
| 评论： | 19 页，8 幅图 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.30983 [cs.CL] |
| （或 arXiv:2610.30983v1 [cs.CL] 为本版本） | |
| https://doi.org/10.48550/arXiv.2610.30983 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Haeun Yu [查看邮箱]
[v1]
2026 年 10 月 22 日星期四 09:31:18 UTC（1,138 KB）
来源：arXiv cs.CL · arxiv.org