跳到正文
arXiv cs.CL· Aarne Talman, Stergios Chatzikyriakidis·· 10 小时前AI 评分34

捷径还是记忆?重新审视大语言模型在自然语言理解中的数据扰动实验

Shortcuts or Memorisation? Revisiting Data Corruption in Natural Language Understanding with Large Language Models

AI 导读

研究用 8 个 LLM 与微调编码器在 GLUE 和三轮 ANLI 上重做扰动实验,发现直接作答的系统在 MNLI 去掉名词后仍保留 36-72% 的超随机水平性能,而在 ANLI 上仅 14-29%。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:在自然语言推理(NLI)及其他语言理解任务上微调的预训练编码器,在输入受到扰动(例如移除所有名词或打乱词序)后仍能保持大部分准确率。大型语言模型(LLM)是否也是如此?如果是,是否因为它们在预训练期间见过这些基准?本文用八个 LLM 以及微调的编码器在 GLUE 和三轮 ANLI 上重新审视这些扰动实验。无论模型规模如何,所有直接作答的系统在 MNLI 上移除名词后仍保留其高于随机水平的性能的 36-72%,而在 ANLI 上仅为 14-29%。只有先推理再作答的模型偏离了这一模式。我们还检查了污染指标(包括两个模型公开预训练数据中的精确 $n$-gram 计数),未发现暴露与鲁棒性之间的联系。我们最强的证据来自 368 条经过人工验证、任何模型都不可能见过的新条目。全部八个 LLM 在 MNLI 风格撰写的条目上移除名词后保留的性能,均高于在没有其线索的风格撰写的条目上。当扰动改为移除携带此类线索的功能词时,这一优势反转。基于这些结果,我们认为在熟悉的 NLI 基准上对扰动的鲁棒性反映的是数据集捷径而非记忆,并且更多说明的是基准而非模型。
主题: 计算与语言(cs.CL)
引用为: arXiv:2611.16843 [cs.CL]
  (或 arXiv:2611.16843v2 [cs.CL] 为本版本)
  https://doi.org/10.48550/arXiv.2611.16843

由 DataCite 颁发的 arXiv DOI

提交历史

来自:Aarne Talman [查看电子邮件]
[v1] 2026年11月12日星期四 14:18:44 UTC(69 KB)
[v2] 2026年11月19日星期四 18:55:33 UTC(69 KB)

来源:arXiv cs.CL · arxiv.org