研究者提出按可击败缓解措施分类的基准污染分类法

Johanna Angulo 等作者提出一种按“可击败的缓解措施”组织的基准污染分类法，将污染分为直接、派生、时序、分布与评测中习得五类，覆盖训练期与评测期泄漏。作者称，仅保留私有测试集只能堵住第一类。 第五类“评测中习得”的污染在评测过程中产生，属于单次运行的性质，作者主张须随报告分数一并记录，而非随基准发布。该分类法被落实为四字段披露协议，“unknown”为合法取值，以 CC BY 4.0 发布，并附 JSON Schema、校验器与示例。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。