arXiv cs.CL· Parisa Suchdev, Juniper Lovato·· 10 天前AI 评分30
谁把复活节彩蛋带进了开斋节？审计 LLM 跨语言与地区生成数学应用题的文化翻译
Who Brought Easter Eggs to Eid? Auditing LLM-Generated Cultural Translation of Math Word Problems Across Languages and Regions
AI 导读
研究分析 Claude Opus 4、GPT-4.1 和 Gemini 2.5 Pro 将 60 道英文数学应用题改编为孟加拉语、印地语、旁遮普语、乌尔都语、信德语、意大利语和西西里语时的文化适配表现，共标注 6,489 处实体变换。
正文 · AI 翻译
摘要：大语言模型越来越多地被用于大规模地改编数学应用题以支持个性化学习，但这些改编在不同模型之间是否一致、能否在大规模上保留文化多样性，以及模型认为哪些文化实体最为显著，仍是悬而未决的问题。我们分析了 Claude Opus 4、GPT-4.1 和 Gemini 2.5 Pro 如何将 60 道英语数学应用题改编为孟加拉语、印地语、旁遮普语（印度）、乌尔都语、信德语（巴基斯坦）、意大利语和西西里语，这一语言集合横跨完整的资源谱系，从高资源的意大利语和印地语到研究不足的信德语、西西里语和旁遮普语。我们标注了 6,489 处实体转换，编码模型对姓名、食物和地点等实体是保留、本地化、泛化、省略还是更改。模型在 62.5% 的情况下对转换类型一致，而仅在 33.5% 的情况下对具体替换一致，这意味着模型选择直接塑造了学生所接触的文化世界。所有 21 个语言-模型组合都表现出熵坍缩，改编压缩而非扩展了文化多样性。模型优先处理姓名、食物和货币等表层标记，同时保留更深层的结构特征，如嵌入文化特定假设的年级体系。尽管提示中指定了目标国家，模型仍会错误归属区域语境，例如为印度孟加拉语学生使用孟加拉塔卡，并产生跨文化污染，例如将寻蛋活动改编为开斋节活动。有些失败在单个翻译中可见。其他失败，包括多样性坍缩、对表层标记的系统性偏好以及一致的区域错误归属，只有通过语料库层面的分析才会显现。正是使改编后的问题看起来正确的表层合理性，恰恰让更深层的失败容易被忽视。
| 评论： | 总计 18 页，含参考文献和附录，9 幅图，已被 AIES 接收 |
| 主题： | 计算与语言（cs.CL）；计算机与社会（cs.CY） |
| 引用为： | arXiv:2606.11009 [cs.CL] |
| （或 arXiv:2606.11009v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2606.11009 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Parisa Suchdev [查看邮箱]
[v1]
2026 年 6 月 9 日星期二 15:50:12 UTC（321 KB）
[v2]
2026 年 10 月 7 日星期三 15:30:02 UTC（332 KB）
来源：arXiv cs.CL · arxiv.org