arXiv cs.CL· Wentao Lei, Li Liu·· 10 小时前AI 评分31
SELD：检测上下文压缩中答案之外的静默证据丢失
SELD: Detecting Silent Evidence Loss in Context Compression beyond the Answer
AI 导读
研究者提出无需训练和标注的 SELD（Silent Evidence Loss Detector），通过对比压缩前后阅读模型对未说出口答案的偏好变化，检测答案不变但关键证据被删除的“静默证据丢失”。团队同时构建 SEL-Pairs 基准，在三个问答数据集上对五种阅读模型测试，SELD 在答案未变的匹配对中以 83% 的识别率找出删证据的编辑，最强基线为 70%。
正文 · AI 翻译
摘要：上下文压缩如今已成为长输入语言模型的常规做法，但压缩后的上下文只有在保留答案证据时才有用。现有检查比较的是阅读器模型的答案或其最可能的词，因此会漏掉一种常见的失败情形——静默证据丢失：关键证据被移除，而答案保持不变，导致答案缺乏支撑，对复用该上下文的其他模型构成风险。为应对这一挑战，我们提出 SELD（静默证据丢失检测器），它无需训练，也无需标签。其原理是：当证据丢失时，阅读器模型在其未给出的答案之间的偏好会发生偏移，即使其答案不变，因此比较压缩前后的这些偏好，就能揭示答案检查无法发现的丢失。我们还构建了 SEL-Pairs，这是一个由三个问答数据集构建、长度匹配的证据删除与对照删除基准。在该基准上对五个阅读器模型进行的定量与定性实验表明，SELD 在不同压缩器、压缩率和模型上均持续优于强基线及近期基线，在答案保持不变的匹配对中识别出移除证据的编辑，比例为 83%，而最强基线为 70%。这些结果表明，即使答案不变，压缩上下文中的证据丢失也可以被检测到。
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.12903 [cs.CL] |
| （或 arXiv:2611.12903v1 [cs.CL] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2611.12903 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Wentao Lei [查看邮箱]
[v1]
2026年10月14日星期三 15:58:07 UTC（535 KB）
来源：arXiv cs.CL · arxiv.org