跳到正文
arXiv cs.CL· Naho Orita, Hayato Ogawa, Daisuke Kawahara·· 14 小时前AI 评分12

研究人类与 LLM 对非母语日语的语言态度对齐的论文被撤稿

Human-LLM Alignment in Language Attitudes Toward Non-Native Japanese

AI 导读

论文《Human-LLM Alignment in Language Attitudes Toward Non-Native Japanese》已被作者 Naho Orita 撤稿,原因是所谓 L2 日语学习者邮件实为母语者用各自语言所写邮件的日语直译(I-JAS FOLAS 语料),并非 L2 写作,标题与关于学习者写作的结论无法成立。

正文 · AI 翻译

本文已被 Naho Orita 撤回

无 PDF 可用,点击查看其他格式

摘要:大型语言模型(LLM)越来越多地在招聘和学术评估等高风险领域评估人类写作,使非母语者面临尤其大的风险。基于语言态度框架,我们比较了人类与 LLM 对平行 L1 和 L2 日语电子邮件的评估,涵盖三个维度:流利度、地位和团结性。日语评分者在所有三个维度上对 L2 文本的评分显著更低,其中流利度差距约为地位和团结性差距的两倍。六个 LLM 评判者重现了这一偏见的方向,五个重现了其在各维度上的排序。模型与人类在两方面存在分歧:所有模型都低估了团结性差距——这是最具社会基础的维度;并且所有模型都在人类未作区分的学习者 L1 背景之间作出了区分。因此,LLM 评判者以结构化但衰减的形式重现了母语者的语言态度,而语言态度框架为在英语之外审计它们提供了一个现成的标尺。
评论: 撤回:我们的刺激材料被描述为 L2 日语学习者撰写的电子邮件,实际上是母语者用各自语言撰写的电子邮件的日语直译(I-JAS FOLAS 语料库)。这些刺激材料并非 L2 写作,因此论文的标题和关于学习者写作的结论无法成立。我们向读者致歉
主题: 计算与语言(cs.CL)
引用为: arXiv:2608.01629 [cs.CL]
  (或 arXiv:2608.01629v2 [cs.CL] 查看此版本)
  https://doi.org/10.48550/arXiv.2608.01629

arXiv 颁发的 DOI 通过 DataCite

提交历史

来自:Naho Orita [查看电子邮件]
[v1] 2026年8月3日星期一 02:59:59 UTC(1,031 KB)
[v2] 2026年10月25日星期日 07:42:40 UTC(1 KB)(已撤回)

来源:arXiv cs.CL · arxiv.org