跳到正文
arXiv cs.CL· Athira Gopal, Patil Prathamesh Pravin, Ankush Kadu, Arpit Jain, Ashwanth Krishnan·· 12 小时前AI 评分39

同一实体,不同文字:诊断语言模型中的跨文字实体匹配失败

Same Entity, Different Script: Diagnosing Cross-Script Entity Matching Failures in Language Models

AI 导读

多语言模型对同一人名在不同文字下会给出不同身份判断:Qwen2.5-7B 在马拉地语提示下,拉丁文字的同一人准确率为 35.1%,梵文天城体降至 8.5%,而不同人准确率仍高于 98%。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:多语言语言模型在相同人名以不同文字书写时,可能给出不同的身份判断。我们使用 601 对经审核的身份配对来研究这一效应,这些配对具有可验证的天城文和拉丁文形式,并保持问题和关系固定。在马拉地语提示下,Qwen2.5-7B 的同一人准确率从拉丁文的 35.1% 降至天城文的 8.5%,而不同人准确率仍高于 98%。对五个模型的评估揭示了不同的响应偏差,且减少分词碎片化并不能可靠地缩小差距。在由相同实体构建的 374 对经审核的马拉雅拉姆语配对上复现该设计,在第二种文字和语系中重现了这一效应:同一人准确率降至 5.3%,约为匹配的天城文比率的一半,而裕度仍以 0.925 AUROC 将匹配姓名排在非匹配姓名之上。拉丁文训练的探针从天城文状态中恢复标签信息,在相似度匹配的负样本下超过字符串特征基线。标量校准恢复了原始模型-探针平衡准确率差距的 87%,表明决策标准的位置是主要贡献因素。激活修补将因果敏感性定位到 Qwen 中间层中的第二个实体;一个共享的敏感性方向传递了约一半的全状态裕度校正。在该位点进行与事实无关的干预,将留出的马拉地语同一人准确率从 6.5% 提高到 33.5%,不同人准确率为 98.5%。总之,这些结果将依赖文字的分辨与标准位置区分开来,并确定了改善身份判断的因果位点。
主题: 计算与语言(cs.CL);人工智能(cs.AI)
引用为: arXiv:2610.31407 [cs.CL]
  (或 arXiv:2610.31407v1 [cs.CL] 为此版本)
  https://doi.org/10.48550/arXiv.2610.31407

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Athira Gopal [查看电子邮件]
[v1] 2026年10月22日星期四 15:09:46 UTC(337 KB)

来源:arXiv cs.CL · arxiv.org