跳到正文
热点事件持续更新

研究重做NLI扰动实验,发现LLM鲁棒性因数据集而异

1 篇报道1 个报道来源10 小时前更新

先了解这件事

AI 综述

Aarne Talman 与 Stergios Chatzikyriakidis 发表论文,用 8 个大语言模型和微调编码器在 GLUE 及三轮 ANLI 上重做自然语言推断扰动实验。结果显示,直接作答的系统在 MNLI 去掉名词后仍保留 36% 至 72% 的超随机水平性能,而在 ANLI 上仅保留 14% 至 29%。 这一差异说明,模型在扰动下的表现取决于数据集:在 MNLI 上,去掉名词后仍有相当部分性能超出随机水平;在 ANLI 上,超出随机水平的性能则明显更低。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月20日
  1. arXiv cs.CL
    捷径还是记忆?重新审视大语言模型在自然语言理解中的数据扰动实验

    研究用 8 个 LLM 与微调编码器在 GLUE 和三轮 ANLI 上重做扰动实验,发现直接作答的系统在 MNLI 去掉名词后仍保留 36-72% 的超随机水平性能,而在 ANLI 上仅 14-29%。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。