跳到正文
arXiv cs.CY· Sangho Kim, Heejin Kim, Hyunggeun Jeon, Yoonhee Park, Jaejin Lee·· 23 小时前AI 评分35

Polar:评估 LLM 政治偏见的基准

Polar: A Benchmark for Evaluating Political Bias in LLMs

AI 导读

研究者推出 Polar,一个含 4,026 道多选题的基准,通过选项级似然而非提示词生成来测量 LLM 政治偏见,覆盖两个意识形态轴与 Manifesto Project 的八个议题类别,并在美国与韩国政治语境下平行评测。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:大型语言模型(LLMs)中的政治偏见日益显著,但难以在政治和语言语境中可复现地测量。我们推出 Polar,一个包含 4,026 个实例的多项选择基准,通过选项级似然而非基于提示的生成来测量政治偏见。Polar 涵盖两个意识形态轴和源自 Manifesto Project 的八个议题类别,并在美国与韩国政治语境中并行评估模型。在 38 个 LLM 中,测得的偏见随政治语境、议题类别、模型组和呈现语言而系统性变化。所有模型在美国政治内容上均偏向左翼进步立场,但在韩国内容上表现出更居中且混合的模式。翻译实验进一步表明,仅呈现语言本身即可改变测得的偏见。这些发现凸显了对 LLM 政治偏见进行多语言和跨语境评估的必要性。
代码和数据集已在 GitHub(此 https URL)和 Hugging Face(此 https URL)上公开。
评论: 已被 AACL-IJCNLP 2026 Findings 接收 代码和数据集:此 https URL ; 此 https URL
主题: 计算与语言(cs.CL);计算机与社会(cs.CY)
引用为: arXiv:2606.12922 [cs.CL]
  (或 arXiv:2606.12922v2 [cs.CL] 用于此版本)
  https://doi.org/10.48550/arXiv.2606.12922

由 DataCite 颁发的 arXiv DOI

期刊 参考: Findings of the Association for Computational Linguistics: IJCNLP-AACL 2026
相关 DOI: https://doi.org/10.18653/2026.findings-aacl.181

链接到相关资源的 DOI

提交历史

来自:Sangho Kim [查看电子邮件]
[v1] 2026 年 6 月 11 日星期四 05:26:28 UTC(822 KB)
[v2] 2026 年 11 月 18 日星期三 07:56:26 UTC(887 KB)

来源:arXiv cs.CY · arxiv.org