arXiv cs.CY· Mir Tafseer Nayeem, Davood Rafiei·· 3 天前AI 评分27
谁的数据，谁的基准？一个以用户为中心的评估资源审计框架
Whose Data, Whose Benchmark? A User-Centric Framework for Auditing Evaluation Resources
AI 导读
研究者提出一个以用户为中心的审计框架，区分贡献基准内容的用户与评估结果所代表的目标用户，并在内容、元数据、文档和评分流程四个层面操作化七个维度。对 16 个资源的审计发现，11 个文本基准中美国中心惯例占匹配信号的 62.4%-94.4%，5 个图文资源的地理可见度与各国 GDP 份额强相关（Pearson r 均值 0.780）。
正文 · AI 翻译
摘要：基准测试塑造了模型能力的衡量与解读方式，但其分数可能掩盖了究竟是谁的惯例、语境和判断定义了成功的表现。我们引入了一个以用户为中心的审计框架，用以区分贡献基准内容的用户与评估结果意图代表的用户。该框架在基准内容、元数据、文档和评分程序四个层面操作化了七个维度。在 16 项资源中，我们发现以美国为中心的惯例在 11 个文本基准中占匹配信号的 62.4-94.4%，而五个图文资源中的地理可见性高度集中，并与各国 GDP 份额强相关（平均 Pearson r = 0.780；Spearman p = 0.778）。文档揭示出一种系统性的来源-目标缺口：全部 16 项资源都操作化了来源用户语境，但没有任何一项操作化了目标用户语境。配对评分实验进一步表明，保持语义不变的答案变体将 DROP 精确匹配准确率从 100.0% 降至 33.3%，而 TruthfulQA 在参考相似度上表现出依赖指标的下降。我们的框架和文档清单使用户假设可被审计，从而厘清基准分数代表什么，以及评估主张在何处得到支持。
| 评论： | 预印本 |
| 学科： | 计算与语言（cs.CL）；人工智能（cs.AI）；计算机与社会（cs.CY）；新兴技术（cs.ET）；人机交互（cs.HC） |
| 引用为： | arXiv:2610.19268 [cs.CL] |
| （或 arXiv:2610.19268v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.19268 arXiv 颁发的 DOI 经由 DataCite（待注册） |
提交历史
来自：Mir Tafseer Nayeem [查看电子邮件]
[v1]
2026年10月13日星期二 22:39:55 UTC（2,314 KB）
来源：arXiv cs.CY · arxiv.org