arXiv cs.CL· Minsu Oh, Seunghui Jwa, Soo Kyun Kim, Yeo-Chan Yoon·· 11 小时前AI 评分31
研究：采集日期元数据会改变时序问答的答案
Collection-Date Assignment Redirects Answers in Temporal QA
AI 导读
在 595 个 Wikipedia 页面上交换问题日与次日的采集日期、保持证据不变，五个开源权重 LLM 的后续引用精确匹配（EM）下降 37.6-51.4 个百分点，并在 128 个不重叠页面上复现。
正文 · AI 翻译
摘要：采集日期记录的是源修订版本被获取的时间，而非其内容发生变更的时间。在证据未变的情况下，赋予这一元数据能否改变时序问答的结果？在 595 个维基百科页面上，将问题日期与次日互换到两个修订版本之间，会使五个开放权重 LLM 的后续引用精确匹配（EM）下降 37.6-51.4 个百分点，并在 128 个不相交页面上得到复现。前一日互换在 497 个页面上仍保留 29.0-39.6 个百分点的损失。七种提示变体，包括明确忽略采集的指令和归档修订版本来源，仍保留该效应。虚构答案和英文月份名称的问题日期表明，记忆中的答案和完全相同的日期字符串并非必要。匹配思考将 Qwen3.5 的惩罚从 30.1 个百分点降至 11.1 个百分点，而原生推理模型则各有不同。两个 API LLM 在维基百科上表现出较小的互换效应，且很少在虚构记录上转向更早的答案。互换引起的大幅损失集中在问题日期附近；相距较远的日期之间的互换影响要小得多。在五个 LLM 中的三个中，经过校正后，添加包含一个观测到的采集日期的字段会相对于省略该字段降低 EM。该诊断将元数据效应与证据变化或缺失相关修订版本区分开来，并为时序 QA 输入提供了实用的审计方法。
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.32191 [cs.CL] |
| （或 arXiv:2610.32191v1 [cs.CL] 为此版本） | |
| https://doi.org/10.48550/arXiv.2610.32191 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Minsu Oh [查看电子邮件]
[v1]
2026 年 10 月 23 日星期五 05:37:24 UTC（88 KB）
来源：arXiv cs.CL · arxiv.org