arXiv cs.CL· Divyansh Singh·· 11 小时前AI 评分44
LeakScale：量化基准测试曝光对模型成绩的因果影响
LeakScale: Estimating the Causal Effect of Benchmark Exposure
AI 导读
LeakScale 是一个因果测量框架，通过构造依赖私有不可推导信息的新鲜可执行任务、反事实校验候选答案并训练互补适配器，量化基准曝光对成绩的影响。在 2,048 个任务族、两个模型族、两个可执行领域、三种任务形式和 589,824 次生成中，曝光使精确任务准确率提升 +3.22 至 +10.66 个百分点，所有族聚类 95% 区间均排除零，四项主检验通过 Holm 校正。
正文 · AI 翻译
摘要：基准污染通常被当作溯源问题处理：评估材料是否出现在训练中？溯源无法提供解读基准分数所需的量：多少暴露改变了它。我们引入 LeakScale，一个因果测量框架，使基准特定的暴露可被操纵并测量其影响。LeakScale 构建全新的可执行任务，其正确行为依赖于私有的、不可推导的信息，对每个候选答案进行反事实认证，并训练互补适配器，使每个家族恰好在一个适配器中暴露、在另一个中未暴露。在 2,048 个家族、两个模型家族、两个可执行领域、三种任务表述和 589,824 次生成中，暴露在每个模型×领域单元中都提高了精确任务准确率。主要效应范围为 +3.22 至 +10.66 个百分点；每个家族聚类的 95% 区间均排除零，且所有四项主要检验均通过 Holm 校正。该效应在全部八项表面改写和同构迁移测量中也保持为正。这些结果表明，基准暴露可以因果且可复现地改变报告的性能，包括在评估表面发生变化之后。LeakScale 将污染分析从检测接触转向测量分数对其依赖的强度。
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2609.27176 [cs.CL] |
| （或 arXiv:2609.27176v3 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2609.27176 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Divyansh Singh [查看电子邮件]
[v1]
2026年9月23日星期三 00:28:57 UTC（7,779 KB）
[v2]
2026年9月24日星期四 20:00:34 UTC（7,780 KB）
[v3]
2026年10月23日星期五 05:37:08 UTC（55 KB）
来源：arXiv cs.CL · arxiv.org