arXiv cs.CL· Esther Xin·· 2 天前AI 评分24
RLVR 数学语料去污染：语义阈值清洗的可靠性究竟如何？
What Should We Remove? Evaluating the Reliability and Costs of RLVR Data Decontamination
AI 导读
研究审计了 16 个开源 RLVR 数学语料（1,673,514 条训练数据）对 6 个基准（1,949 道题）的去污染策略，发现余弦阈值 0.80 下 59 个抽样删除中有 52 个（88%）被确认为误删。
正文 · AI 翻译
摘要：带有可验证奖励的强化学习（RLVR）数学语料库通常会进行基准重叠筛查，但清洗策略的可靠性和数据损失成本仍未得到充分研究。我们审计了十六个开放的 RLVR 数学语料库，包含 1,673,514 个语料库特定的训练条目，对照六个基准中的 1,949 个问题。我们基于精确、词汇和语义匹配评估了八种策略，使用了 594 个独立且盲审双重评审的训练-基准配对。校准集和留出集具有不相交的基准问题和训练样本族。对 80 个抽样训练条目的全部 83 个候选匹配进行的单独审查衡量了条目级误删。在余弦阈值 0.80 下，59 个抽样删除中有 52 个（88%）被确认为误删；这不是已证明的总体比率。在我们预注册的网格（0.80-0.98）中，没有语义阈值在校准集上达到 90% 的保守精确率目标。现有的评审裁定策略在留出语料库上实现了 98.1% 的已解决精确率和 98.2% 的候选框召回率。在六个抽样删除中，它没有确认的误删，有一个未解决案例；这并不能确立零风险。在评估的候选框内，该策略比所测试的语义阈值替代方案提供了更有利的精确率-召回率平衡。召回率不衡量候选框之外的污染。我们发布经审查的标签、各策略决策和覆盖核算，以支持对清洗可靠性和成本的评估，而不仅仅是重叠计数。
| 评论： | 13 页，4 幅图，4 张表，代码和数据：此 https URL |
| 主题： | 计算与语言（cs.CL）；机器学习（cs.LG） |
| ACM 分类： | I.2.7；I.2.6 |
| 引用为： | arXiv:2610.21229 [cs.CL] |
| （或 arXiv:2610.21229v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.21229 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Esther Xin [查看电子邮件]
[v1]
2026 年 10 月 15 日星期四 04:19:03 UTC（45 KB）
来源：arXiv cs.CL · arxiv.org