arXiv cs.AI· Massi-Nissa Abboud, Aladin Djuhera, Elena Cabrio, Holger Boche·· 11 小时前AI 评分34
POLI-BIAS：测量大语言模型在国际政治冲突中的偏见
Poli-Bias: Understanding and Measuring Large Language Model Biases in International Political Conflicts
AI 导读
POLI-BIAS 是一个反事实框架，通过系统交换国家身份来测量 LLM 是否对法律上等价的冲突场景区别对待。研究覆盖 5,600 组提示词对和七个不同模型家族与规模的开源权重 LLM，发现模型对处于实际冲突或紧张关系中的国家处理得更不均衡，对等价行为的描述、评价和辩护存在差异。该框架将响应差异分解为五个可解释维度，用于细粒度审计 LLM 的政治公正性。
正文 · AI 翻译
摘要：衡量大型语言模型（LLM）中的政治偏见仍然具有挑战性，因为它可能通过措辞框架、论证方式和法律推理中的细微差异表现出来，而这些差异难以用单一指标捕捉。在本研究中，我们提出 POLI-BIAS，一个反事实框架，用于衡量 LLM 是否会因所涉国家不同而以不同方式对待法律上等价的冲突场景。POLI-BIAS 比较对成对提示的响应，这些提示在不同地缘政治关系、法律违规行为和推理任务中系统地交换国家身份。我们的框架不将偏见简化为单一判断，而是将响应差异分解为五个可解释的维度，揭示不平等对待如何以及在何处显现。在 5,600 对提示和来自不同模型家族与规模的七个开放权重 LLM 上，我们发现模型对处于活跃冲突或紧张关系中的国家，其对待方式不如对虚构或无争议国家那样均衡，对等价行为的描述、评价和辩护方式不同。因此，我们的结果确立了 POLI-BIAS 作为一个细粒度框架，用于审计 LLM 中的政治公正性。
| 学科： | 人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2608.06123 [cs.AI] |
| （或 arXiv:2608.06123v3 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2608.06123 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Massi-Nissa Abboud [查看电子邮件]
[v1]
2026年8月6日星期四 14:54:30 UTC（362 KB）
[v2]
2026年8月10日星期一 14:43:02 UTC（362 KB）
[v3]
2026年10月15日星期四 20:35:07 UTC（308 KB）
来源：arXiv cs.AI · arxiv.org