arXiv cs.CL· Johanna Angulo, V\'ictor Yeste, Hector Espinos-Morato·· 10 小时前AI 评分32
按可击败的缓解措施分类的基准污染分类法
Benchmark Contamination: A Taxonomy Organized by Defeated Mitigation
AI 导读
研究者提出按“可击败的缓解措施”组织的基准污染分类法，分为直接、派生、时序、分布与评测中习得五类，覆盖训练期与评测期泄漏，私有测试集只能堵住第一类。第五类在评测过程中产生，须随报告分数一并记录，并被落实为含“unknown”合法取值的四字段披露协议，以 CC BY 4.0 发布并附 JSON Schema、校验器与示例。
正文 · AI 翻译
摘要：基准分数是模型、评测框架、诱导预算、采样人群和污染状态的联合属性。排行榜公布模型和分数，因此能力与泄漏在观测上保持等价。现有分类法为自动检测而对污染进行分类，而非记者在发表时面临的问题：在已应用缓解措施的情况下，哪些有效性威胁仍然存在？我们引入一个按每种类型所击败的缓解措施组织的分类法——直接的、衍生的、时间的、分布的和获得的——涵盖训练时和评测时泄漏。仅保留私有测试集只能封闭第一种。第五种是在评测本身期间获得的；由于它是单次运行的属性，必须随报告的分数而非基准发布一起记录。我们将其操作化为一个四字段披露协议，其中“未知”是有效条目，以 CC BY 4.0 发布，附带 JSON Schema、验证器和示例。设计团队之外的两位编码员将预注册工具应用于 41 份文档。在 29 份主通过文档上，逐变量线性加权 $\kappa$ 从 0.00 到 0.35（中位数 0.21），而单编码员重测上限为 0.84，在注册所预期的类别偏斜下崩溃；合并通过机会校正而非更好的一致性将其提高到 0.46。两个变量低于预先注册的流行率稳健阈值：分层报告和此处引入的获得类型。分歧集中在变量何时适用，而非文档陈述了什么。诱导预算在 13% 的文档中报告，且没有文档涉及所有五种类型。贡献是分类法、由此产生的分数侧工件，以及对工具可靠性和当前披露的预注册测量。
| 评论： | 18 页，3 幅图，6 张表。规范、审计工具、预注册和分析代码：此 https URL |
| 主题： | 密码学与安全（cs.CR）；人工智能（cs.AI）；计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2608.29463 [cs.CR] |
| （或此版本的 arXiv:2608.29463v2 [cs.CR]） | |
| https://doi.org/10.48550/arXiv.2608.29463 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Johanna Angulo [查看电子邮件]
[v1]
2026 年 8 月 29 日星期六 23:04:09 UTC（37 KB）
[v2]
2026 年 11 月 6 日星期五 13:39:00 UTC（46 KB）
来源：arXiv cs.CL · arxiv.org