arXiv cs.CL· Athira Gopal, Patil Prathamesh Pravin, Ankush Kadu, Arpit Jain, Ashwanth Krishnan·· 12 小时前AI 评分39
同一实体,不同文字:诊断语言模型中的跨文字实体匹配失败
Same Entity, Different Script: Diagnosing Cross-Script Entity Matching Failures in Language Models
AI 导读
多语言模型对同一人名在不同文字下会给出不同身份判断:Qwen2.5-7B 在马拉地语提示下,拉丁文字的同一人准确率为 35.1%,梵文天城体降至 8.5%,而不同人准确率仍高于 98%。
正文 · AI 翻译
摘要:多语言语言模型在相同人名以不同文字书写时,可能给出不同的身份判断。我们使用 601 对经审核的身份配对来研究这一效应,这些配对具有可验证的天城文和拉丁文形式,并保持问题和关系固定。在马拉地语提示下,Qwen2.5-7B 的同一人准确率从拉丁文的 35.1% 降至天城文的 8.5%,而不同人准确率仍高于 98%。对五个模型的评估揭示了不同的响应偏差,且减少分词碎片化并不能可靠地缩小差距。在由相同实体构建的 374 对经审核的马拉雅拉姆语配对上复现该设计,在第二种文字和语系中重现了这一效应:同一人准确率降至 5.3%,约为匹配的天城文比率的一半,而裕度仍以 0.925 AUROC 将匹配姓名排在非匹配姓名之上。拉丁文训练的探针从天城文状态中恢复标签信息,在相似度匹配的负样本下超过字符串特征基线。标量校准恢复了原始模型-探针平衡准确率差距的 87%,表明决策标准的位置是主要贡献因素。激活修补将因果敏感性定位到 Qwen 中间层中的第二个实体;一个共享的敏感性方向传递了约一半的全状态裕度校正。在该位点进行与事实无关的干预,将留出的马拉地语同一人准确率从 6.5% 提高到 33.5%,不同人准确率为 98.5%。总之,这些结果将依赖文字的分辨与标准位置区分开来,并确定了改善身份判断的因果位点。
| 主题: | 计算与语言(cs.CL);人工智能(cs.AI) |
| 引用为: | arXiv:2610.31407 [cs.CL] |
| (或 arXiv:2610.31407v1 [cs.CL] 为此版本) | |
| https://doi.org/10.48550/arXiv.2610.31407 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Athira Gopal [查看电子邮件]
[v1]
2026年10月22日星期四 15:09:46 UTC(337 KB)
来源:arXiv cs.CL · arxiv.org