arXiv cs.CL· Qingjie Zhang, Di Wang, Haoting Qian, Liu Yan, Tianwei Zhang, Ke Xu, Qi Li, Minlie Huang, Hewu Li, Han Qiu·· 11 小时前AI 评分38
研究通过 token 推测 LLM 中文训练数据污染：GPT 词表超 40% 长中文 token 涉色情或赌博
Speculating LLMs' Chinese Training Data Pollution from Their Tokens
AI 导读
一项 arXiv 研究通过分析 token 词表来推测 LLM 的中文训练数据污染，发现 GPT 词表中超过 40% 的长中文 token（含两个以上汉字）与色情或在线赌博内容相关，在 GPT 及另外 23 个 LLM 的实验中表现最差。
正文 · AI 翻译
摘要：Token 是 LLM 训练数据集中的基本元素。众所周知，GPT（4o/4o-mini/o1/o3/4.5/4.1/o4-mini）词表中许多代表中文短语的 token 都指向色情或网络赌博等内容。基于这一观察，我们的目标是定位 LLM 中的污染中文（PoC）token，并研究 PoC token 的存在与训练数据之间的关系。(1) 我们基于 GPT 的词表给出了 PoC token 的正式定义与分类。(2) 我们通过微调一个 LLM 构建了 PoC token 检测器，在标注词表中的 PoC token 时同时考虑每个 token 的语义和来自搜索引擎的相关内容。(3) 我们通过 PoC token 的出现情况（token ID）研究关于训练数据污染的推测。在 GPT 及其他 23 个 LLM 上的实验表明，这类 token 广泛存在，而 GPT 的词表表现最差：超过 40% 的长中文 token（即包含两个以上汉字的 token）要么是色情，要么是网络赌博。我们在 C4 和 Pile 等知名预训练数据集上验证了推测方法的准确性。随后，针对 GPT-4o，我们推测其训练数据中与“Yui Hatano”相关的网页比例约为 0.5%。
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2508.17771 [cs.CL] |
| （或本版本的 arXiv:2508.17771v3 [cs.CL]） | |
| https://doi.org/10.48550/arXiv.2508.17771 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Qingjie Zhang [查看邮箱]
[v1]
2025年8月25日 星期一 08:08:51 UTC（12,732 KB）
[v2]
2025年9月30日 星期二 07:36:58 UTC（12,733 KB）
[v3]
2026年10月16日 星期五 03:49:44 UTC（12,730 KB）
来源：arXiv cs.CL · arxiv.org