arXiv cs.CY· Nawar S. Alseelawi, Mustafa S. Aljumaily·· 10 小时前AI 评分26
Qistas：面向大语言模型公平性评估的预注册可移植协议
Qistas: A Pre-Registered, Portable Protocol for Fairness Evaluation of Large Language Models
AI 导读
Qistas 是一套面向大语言模型公平性评估的预注册、可移植协议，首次在伊拉克落地，仅测量无需裁定争议真相的维度：匹配反事实对的过程对称性、差异化拒答、歧义下的刻板印象依赖与事件术语框架。
正文 · AI 翻译
摘要：大型语言模型（LLM）的公平性基准绝大多数诞生于英语环境，其社会类别也带有美国色彩；翻译版本将这些类别带入并不适用的社会，而且几乎没有研究在运行模型之前就固定其假设。我们提出 Qistas（阿拉伯语 qistas，意为“公正的天平”），这是一套用于评估 LLM 如何对待一个社会的社会、教派和地域群体的协议，可跨国家移植，并首先为伊拉克实例化。在其试点形式中，它只测量无需对有争议的真相作出裁决的内容：匹配反事实对之间的程序对称性、差异性拒绝、歧义下的刻板印象依赖，以及对有记录事件的术语框架。每一项测量都按构造配对，并用配对机制进行分析（符号翻转置换检验、精确 McNemar 检验、模板聚类自助区间、Holm 校正族），同时进行功效分析，在数据存在之前就说明每个轴在模板聚类的设计效应之后能检测到的最小效应。我们发布编写装置（一个经过剪枝的 3x5 分类法，其中四个单元格按设计关闭；按类型的检查清单；累积裁决日志；结构审计；以及人工审查笔记本），并报告其首次实地测试：对 58 项种子库进行语义审查，其中 25 个模板组中有 24 个至少未通过一项检查。它暴露出的缺陷模式（评估标准泄漏到提示中、破坏阿拉伯语一致性的 token 级替换、认识论上不平衡的配对、单一主题的拒绝探测、未写出的方言孪生被计为覆盖）我们认为是对反事实公平性基准的普遍危害。这是一篇协议论文，不是结果论文：尚未评估任何模型，随附的预注册承诺了试点将遵循的假设、指标、排除规则和分析计划。
| 评论： | 19 页，1 幅图，5 张表。协议论文；无模型结果。预注册：此 https URL。参考实现：此 https URL |
| 主题： | 计算与语言（cs.CL）；计算机与社会（cs.CY） |
| 引用为： | arXiv:2610.40893 [cs.CL] |
| （或 arXiv:2610.40893v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.40893 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Nawar Alseelawi [查看电子邮件]
[v1]
2026 年 10 月 29 日星期四 19:14:07 UTC（901 KB）
来源：arXiv cs.CY · arxiv.org