arXiv cs.AI· Yifan Lan, Yuanpu Cao, Hanyu Wang, Lu Lin, Jinghui Chen·· 14 小时前AI 评分38
研究提出 Zero-CoT Probe：截断思维链暴露 LLM 规避式数据污染
The Illusion of Reasoning: Exposing Evasive Data Contamination in LLMs via Zero-CoT Truncation
AI 导读
研究提出 Zero-CoT Probe（ZCP）黑盒检测方法，通过截断整个 Chain-of-Thought 过程暴露 LLM 潜在的捷径映射，以识别改写基准数据等规避式数据污染。
正文 · AI 翻译
摘要：大型语言模型（LLM）在广泛的任务中展现出令人印象深刻的推理能力，但数据污染削弱了对这些能力的客观评估。恶意模型发布者使用规避性或间接的污染策略，例如改写基准数据以规避现有检测方法并人为提升排行榜表现，进一步加剧了这一问题。现有方法难以可靠地检测此类隐蔽污染。在本工作中，我们揭示了一个关键现象：模型生成的推理步骤会主动掩盖其潜在的记忆。受此启发，我们提出了零思维链探针（ZCP），一种新颖的黑盒检测方法，它有意截断整个思维链（CoT）过程，以暴露潜在的捷径映射。为了进一步将记忆与模型固有的问题解决能力区分开来，ZCP 将模型在原始基准上的零思维链表现与同构扰动参考数据集上的表现进行比较。此外，我们引入了污染置信度这一指标，它量化了污染的可能性和严重程度，超越了简单的二元分类。在先前已识别的受污染模型和专门微调的受污染模型上进行的大量实验表明，ZCP 能够稳健地检测直接和规避性数据污染。ZCP 的代码可在 此 https URL 获取。
| Comments: | 24 页，5 张图，25 张表 |
| Subjects: | 机器学习（cs.LG）；人工智能（cs.AI） |
| Cite as: | arXiv:2605.21856 [cs.LG] |
| （或 arXiv:2605.21856v2 [cs.LG] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2605.21856 由 DataCite 颁发的 arXiv DOI |
Submission history
来自：Yifan Lan [查看邮箱]
[v1]
2026 年 5 月 21 日星期四 01:06:19 UTC（377 KB）
[v2]
2026 年 10 月 25 日星期日 17:22:27 UTC（662 KB）
来源：arXiv cs.AI · arxiv.org