arXiv cs.CY· Eduardo Levy Yeyati, C\'esar Ciappa, Milagros Onofri·· 10 小时前AI 评分42
研究：LLM 意识形态评估存在语言非不变性，GPT-3.5、GPT-4o、GPT-5.2、Qwen-2.5、Mistral Large 跨语言排名会反转
Language Non-Invariance in the Ideological Evaluation of Large Language Models
AI 导读
一项基于 Political Compass 的研究发现，GPT-3.5、GPT-4o、GPT-5.2、Qwen-2.5 和 Mistral Large 五个 LLM 的经济与社会轴意识形态位置并非语言不变：相对英语，西班牙语或法语下十个模型两两排名中有四到五个发生反转。
正文 · AI 翻译
摘要：近期多语言研究表明，对大型语言模型（LLM）的政治评价可能因语言而异。本文考察这种非不变性对问卷翻译、表层措辞、随机模型变异和测量工具的稳健程度，以及它对跨模型比较的影响程度。研究使用政治罗盘（Political Compass），在英语、西班牙语和法语环境下，比较 GPT-3.5、GPT-4o、GPT-5.2、Qwen-2.5 和 Mistral Large 五个模型在经济轴和社会轴上的位置，并进行重复随机抽样。额外实验使用独立的西班牙语和法语译本、三种语言的改写版本以及另一种意识形态测量工具。测得的意识形态位置并非语言不变：相对于英语，十个模型两两排名中有四到五个在西班牙语或法语中发生反转，具体取决于语言和坐标轴。这种跨语言的总体模式在独立译本下依然存在，表明它并非仅仅是官方问卷版本造成的假象。然而，特定偏移的幅度，以及在某些情况下其方向，仍对措辞和工具选择敏感。因此，证据支持一种测量解释：意识形态审计得到的是受语言和工具条件影响的结果，而非一种与语言无关的政治属性。由于同一提供商通过同一产品服务于不同的语言群体，而用户无法观察到其他群体得到什么，这种可比性的缺失也关系到政治问责和跨模型比较。
| 学科： | 计算机与社会（cs.CY） |
| 引用为： | arXiv:2610.41135 [cs.CY] |
| （或 arXiv:2610.41135v1 [cs.CY] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.41135 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Eduardo Levy Yeyati [查看邮箱]
[v1]
2026年10月30日星期五 01:43:37 UTC（498 KB）
来源：arXiv cs.CY · arxiv.org