arXiv cs.CL· Naho Orita, Hayato Ogawa, Daisuke Kawahara·· 14 小时前AI 评分12
研究人类与 LLM 对非母语日语的语言态度对齐的论文被撤稿
Human-LLM Alignment in Language Attitudes Toward Non-Native Japanese
AI 导读
论文《Human-LLM Alignment in Language Attitudes Toward Non-Native Japanese》已被作者 Naho Orita 撤稿,原因是所谓 L2 日语学习者邮件实为母语者用各自语言所写邮件的日语直译(I-JAS FOLAS 语料),并非 L2 写作,标题与关于学习者写作的结论无法成立。
正文 · AI 翻译
本文已被 Naho Orita 撤回
摘要:大型语言模型(LLM)越来越多地在招聘和学术评估等高风险领域评估人类写作,使非母语者面临尤其大的风险。基于语言态度框架,我们比较了人类与 LLM 对平行 L1 和 L2 日语电子邮件的评估,涵盖三个维度:流利度、地位和团结性。日语评分者在所有三个维度上对 L2 文本的评分显著更低,其中流利度差距约为地位和团结性差距的两倍。六个 LLM 评判者重现了这一偏见的方向,五个重现了其在各维度上的排序。模型与人类在两方面存在分歧:所有模型都低估了团结性差距——这是最具社会基础的维度;并且所有模型都在人类未作区分的学习者 L1 背景之间作出了区分。因此,LLM 评判者以结构化但衰减的形式重现了母语者的语言态度,而语言态度框架为在英语之外审计它们提供了一个现成的标尺。
| 评论: | 撤回:我们的刺激材料被描述为 L2 日语学习者撰写的电子邮件,实际上是母语者用各自语言撰写的电子邮件的日语直译(I-JAS FOLAS 语料库)。这些刺激材料并非 L2 写作,因此论文的标题和关于学习者写作的结论无法成立。我们向读者致歉 |
| 主题: | 计算与语言(cs.CL) |
| 引用为: | arXiv:2608.01629 [cs.CL] |
| (或 arXiv:2608.01629v2 [cs.CL] 查看此版本) | |
| https://doi.org/10.48550/arXiv.2608.01629 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自:Naho Orita [查看电子邮件]
[v1]
2026年8月3日星期一 02:59:59 UTC(1,031 KB)
[v2]
2026年10月25日星期日 07:42:40 UTC(1 KB)(已撤回)
来源:arXiv cs.CL · arxiv.org