研究重做NLI扰动实验,发现LLM鲁棒性因数据集而异
热点事件持续更新
研究重做NLI扰动实验,发现LLM鲁棒性因数据集而异
1 篇报道1 个报道来源10 小时前更新
先了解这件事
AI 综述
Aarne Talman 与 Stergios Chatzikyriakidis 发表论文,用 8 个大语言模型和微调编码器在 GLUE 及三轮 ANLI 上重做自然语言推断扰动实验。结果显示,直接作答的系统在 MNLI 去掉名词后仍保留 36% 至 72% 的超随机水平性能,而在 ANLI 上仅保留 14% 至 29%。 这一差异说明,模型在扰动下的表现取决于数据集:在 MNLI 上,去掉名词后仍有相当部分性能超出随机水平;在 ANLI 上,超出随机水平的性能则明显更低。
AI 根据报道生成 · 1 小时前更新
最新进展11月20日 13:00
捷径还是记忆?重新审视大语言模型在自然语言理解中的数据扰动实验报道时间线
沿着报道,了解事件的不同侧面。
11月20日
- arXiv cs.CL捷径还是记忆?重新审视大语言模型在自然语言理解中的数据扰动实验
研究用 8 个 LLM 与微调编码器在 GLUE 和三轮 ANLI 上重做扰动实验,发现直接作答的系统在 MNLI 去掉名词后仍保留 36-72% 的超随机水平性能,而在 ANLI 上仅 14-29%。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。