arXiv cs.CL· Abhishek Anand·· 2 天前AI 评分20
部分提示词污染测试的假阳性与假阴性:剩余文本长度如何影响基准污染检测
How Much Is Left Matters: False Positives and False Negatives in Partial-Prompt Contamination Tests
AI 导读
一项针对部分提示词补全式基准污染检测的审计发现,记忆标记强烈依赖剩余文本长度:在 Qwen2.5-7B-Instruct 上,剩余不超过 8 个词的问题被标记比例为 31.5%,而剩余至少 25 个词时仅 5.5%。
正文 · AI 翻译
本文已被 Abhishek Anand 撤回
摘要:部分提示补全,即让模型接收基准问题的第一部分,并检查其是否能复现其余部分,是一种广泛用于检测基准污染的方法。我们使用 MATH-500 和近期的 AIME 2025/2026 问题(作为真阴性)在七个开放权重模型上审计了该测试。记忆标记强烈依赖于剩余文本量:对于每个模型,剩余词数不超过 8 个的问题被标记的频率是剩余词数至少 25 个的问题的数倍(Qwen2.5-7B-Instruct 为 31.5% 对 5.5%),并且所有基于 ROUGE 的标记中有一半到四分之三来自短剩余文本。在真阴性上,ROUGE-L >= 0.75 阈值在 60% 前缀时最多标记 6.7% 的问题,在 80% 前缀时即使精确匹配也标记 8.6%(跨模型汇总;在 AIME 2026 上为 6.2%,该数据集晚于所有模型),而在 40-60% 时为 0%。该测试还遗漏了上游污染:从 Qwen2.5-Math 蒸馏的模型(其基础模型在先前工作中被大量标记)几乎未显示出模型特异性召回。将每个模型与其他家族的模型进行校准可消除大部分标记,同时在每个前缀长度上分离出一致的 Qwen2.5 特异性信号。我们建议进行长度分层报告、使用至多 60% 的前缀、采用风格匹配的截止后对照,以及跨家族校准。
| 评论: | 第 4 节中的假阴性分析使用了一个其预训练数据无法作为暴露真值的模型,且第 4.3 节中讨论的机制不完整。请勿引用此版本 |
| 主题: | 机器学习 (cs.LG);计算与语言 (cs.CL) |
| 引用为: | arXiv:2611.10307 [cs.LG] |
| (或 arXiv:2611.10307v3 [cs.LG] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.10307 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自:Abhishek Anand [查看电子邮件]
[v1]
2026 年 11 月 6 日星期五 23:13:57 UTC (33 KB)
[v2]
2026 年 11 月 11 日星期三 21:10:54 UTC (1 KB) (已撤回)
[v3]
2026 年 11 月 13 日星期五 05:54:07 UTC (1 KB) (已撤回)
来源:arXiv cs.CL · arxiv.org