arXiv cs.AI· Chaymaa Abbas, Nour Shammaa, Mariette Awad·· 9 天前AI 评分24
翻译如何掩盖数据污染：来自阿拉伯语语料的证据
Obscuring Data Contamination Through Translation: Evidence from Arabic Corpora
AI 导读
研究将 MMLU 和 XQuAD 评测题目的阿拉伯语翻译按不同曝光程度喂给四个开源指令微调 LLM，再在原始英文任务上评测，发现 TS-Guessing 和 Min-K%++ 两种英文探针的污染信号在翻译曝光下基本消失，而英文 MMLU 成绩仍随阿拉伯语曝光上升。作者提出免训练诊断方法 TACD，基于跨语言预测一致性与选项重排，其跨语言一致性显著高于独立基线，但幅度因模型而异且非严格单调。
正文 · AI 翻译
摘要：当模型受益于记忆的评估内容而非真正的泛化时，数据污染会使基准评估失效。然而，当暴露的内容与评估基准语言不同时，污染难以审计。我们通过故意将四个开放权重指令微调 LLM 暴露于 MMLU 和 XQuAD 评估项的阿拉伯语翻译，并逐步提高暴露水平，然后在原始英语任务上评估它们，来研究这种失效模式。这种受控设置是污染的代理，而非对真实世界预训练泄漏的重建。我们首先测试了两种以英语为中心的事后探针，TS-Guessing 和 Min-K%++，发现它们的信号在翻译暴露下基本消失：TS-Guessing 仍然较弱，除了在 MMLU 上模型特定的位置回忆，而 Min-K%++ 保持在随机水平或以下。同时，英语 MMLU 性能随阿拉伯语暴露而提高，表明英语污染信号的缺失并不意味着暴露效应的缺失。然后我们引入了翻译感知污染检测（TACD），一种基于跨语言预测一致性和选项重排序的无需训练数据的诊断方法。跨语言一致性显著高于独立性基线，并且相对于干净条件通常增加，尽管其幅度依赖于模型且并非严格单调。这些结果表明，翻译可以掩盖仅英语探针的污染相关效应，并推动多语言诊断，这些诊断被明确框定为污染一致行为的证据，而非确定性的成员资格测试。
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2601.14994 [cs.CL] |
| （或 arXiv:2601.14994v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2601.14994 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Chaymaa Abbas [查看电子邮件]
[v1]
2026年1月21日星期三 13:53:04 UTC（2,134 KB）
[v2]
2026年10月8日星期四 14:34:01 UTC（3,779 KB）
来源：arXiv cs.AI · arxiv.org