arXiv cs.CL· Federico Marcuzzi, Martin Christoph, Iryna Gurevych, Alla Rozovskays·· 12 小时前AI 评分31
研究发现非母语者的语法错误会加剧大语言模型的社会偏见
Investigating the Impact of Learner Errors on Social Bias in Large Language Models
AI 导读
一项受控实验向三个社会偏见基准的提示词中注入常见学习者语法错误，发现语法错误会加剧模型偏见，且错误率越高偏见越强。四类错误中，介词错误对刻板印象对齐的增幅最大且最一致，分析显示错误越可能干扰理解就越容易推高偏见。在含错误文本上微调可削弱这一偏见增幅，说明仅用规范英语提示词的偏见评测可能低估非母语用户遭遇的偏见。
正文 · AI 翻译
摘要：现有的社会偏见基准主要评估大语言模型在流畅、规范的英语上的表现，反映的是母语者的用法，未能涵盖非母语写作者。为填补这一空白，我们研究了非母语写作者的语法错误如何影响社会偏见。我们开发了一个受控框架，将常见的学习者错误注入提示中，并将其应用于三个偏见基准，涵盖性别、种族和宗教方面的刻板印象对齐与人口统计偏好。我们发现语法错误会增加偏见，且该效应随错误率上升而增强。在我们考虑的四种常见错误类型中，介词错误对刻板印象对齐造成的增加最大且最一致。我们的分析表明，当错误更可能干扰理解时，偏见会增加。最后，在含错误的文本上进行微调可减少语法错误引起的偏见增加。我们的发现表明，仅基于规范提示的偏见评估可能低估了英语含有语法错误的用户所经历的偏见。
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.29896 [cs.CL] |
| （或 arXiv:2610.29896v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.29896 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Federico Marcuzzi [查看电子邮件]
[v1]
2026年10月21日星期三 15:38:13 UTC（763 KB）
来源：arXiv cs.CL · arxiv.org