arXiv cs.AI· Jonghyeon Choi, Yeonjun Choi, Beakcheol Jang·· 1 天前AI 评分34
多测试国家偏见基准：为 LLM 设定显式无偏基线
Multi-Test Nation Bias Benchmarking of LLMs with Explicit Unbiased Baselines
AI 导读
研究用 722 份联合国安理会官方记录和五项互补测试（WOW、AK+-、PVS、F-Oppose、Headliner）量化 LLM 的国家层面偏见，并为每项测试显式定义无偏基线。对 GPT-4o-mini、Llama 3.3-70B、Mistral-22B-Small 和 Qwen3-30B 的基准测试显示一致模式：模型输出对中国和俄罗斯偏向反对（红）一侧，对英国、美国、法国偏向支持（蓝）一侧。
正文 · AI 翻译
摘要：尽管已有研究指出，大型语言模型（LLM）中系统性的国家层面偏见可能给国际关系（IR）应用带来运营风险，但许多现有评估仍缺乏明确指定的无偏参考（真实基准），限制了完全定量和跨情境的测量。我们使用扩展后的 722 份联合国安理会（UNSC）官方记录语料库，通过五项互补测试衡量国家层面偏见，从而将先前方法扩展到覆盖更广泛的偏见表达渠道：观点排序（WOW）、关联排序（AK+-）、投票模拟（PVS）、对立归因（F-Oppose）和框架设定（Headliner）。为实现有依据的偏见评估，我们为每项测试明确定义了无偏状态；特别是对于真实基准难以指定的 WOW 和 AK+-，我们提出一种基于可观察投票行为的行动式伪无偏状态，以构建可量化的基线。我们在联合国安理会五个常任理事国上对 4 个 LLM（GPT-4o-mini、Llama 3.3-70B、Mistral-22B-Small 和 Qwen3-30B）进行基准测试，发现一个与测试无关的宏观模式：相对于每项测试定义的参考基线，模型输出对中国和俄罗斯偏向反对（红色）一方，对英国、美国和法国偏向支持（蓝色）一方。这些结果凸显了有必要使用与明确参考点挂钩的、有依据的多测试基准来审计面向国际关系的 LLM 部署。
| 评论： | 发表于 Transactions of the Association for Computational Linguistics (TACL)，2026 年。17 页。同等贡献：Jonghyeon Choi 和 Yeonjun Choi |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.41486 [cs.AI] |
| （或 arXiv:2610.41486v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.41486 由 DataCite 颁发的 arXiv DOI（待注册） |
|
| 期刊 参考： | Transactions of the Association for Computational Linguistics，第 14 卷，第 2374-2390 页，2026 年 |
| 相关 DOI： | https://doi.org/10.1162/TACL.a.806
链接到相关资源的 DOI |
提交历史
来自：Yeonjun Choi [查看电子邮件]
[v1]
2026 年 10 月 30 日星期五 09:41:05 UTC（943 KB）
来源：arXiv cs.AI · arxiv.org