arXiv cs.AI· Alak Raad (Hamad Bin Khalifa University, Qatar), Noreldin Morssy (Hamad Bin Khalifa University, Qatar), Zeerak Suhail (Hamad Bin Khalifa University, Qatar), Serin Atiani (Princess Sumaya University for Technology, Jordan), Mustafa Jarrar (Hamad Bin Khalifa University, Qatar)·· 3 天前AI 评分36
UDHRBench：面向大语言模型人权合规的基准测试
UDHRBench: Benchmarking Human Rights in Large Language Models
AI 导读
研究者推出 UDHRBench，用于评估大语言模型对《世界人权宣言》的合规性，数据集含覆盖全部 30 条条款的 1,124 个人权问题，以及 ChatGPT、Grok、Gemini、Fanar 四个模型的 4,496 条回答，由专家人工标注（κ = 0.801）。
正文 · AI 翻译
摘要：大型语言模型越来越多地被部署在需要遵守伦理和法律规范的场景中，但其与国际公认人权标准的一致性仍缺乏充分研究。我们提出 UDHRBench，一个大规模基准，用于将大型语言模型对《世界人权宣言》合规性的评估操作化。该数据集包含 1,124 个涉及人权的对抗性问题，覆盖全部 30 条条款，以及来自四个大型语言模型（ChatGPT、Grok、Gemini 和 Fanar）的 4,496 条回复，由专家人工标注其一致性，标注者间一致性很高（$\kappa = 0.801$）。我们的分析揭示了系统性且非平凡的错位，表明违规通常通过看似理性的推理产生：诉诸效率、风险管理或科学中立，而非明确拒绝权利。我们进一步提出一个 LLM-as-a-Judge 框架，用于使用零样本和少样本提示进行自动评估，在检测人权错位方面达到 89.8\% 的加权 F1 分数，同时提出一种新颖的 Alignment Leniency Score，用于量化评判模型如何解决模糊案例。该数据集、标注和代码将作为开源资源发布（this https URL）。
| Comments: | Alak Raad 和 Noreldin Morssy 对本工作贡献相同 |
| Subjects: | 计算与语言（cs.CL）；人工智能（cs.AI） |
| ACM classes: | I.2.7, K.4.1 |
| Cite as: | arXiv:2610.15179 [cs.CL] |
| （或 arXiv:2610.15179v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.15179 arXiv 颁发的 DOI 通过 DataCite（待注册） |
Submission history
来自：Serin Atiani [查看电子邮件]
[v1]
2026年10月10日星期六 20:59:28 UTC（270 KB）
来源：arXiv cs.AI · arxiv.org