arXiv cs.CL· Wonsup Shin, Jingu Kim·· 11 小时前AI 评分26
重复数据下随机 Token 替换的收益与代价：已知熵分解与十个真实语料的证据
Benefit and Cost of Random-Token Replacement under Repeated Data: A Known-Entropy Decomposition and Evidence from Ten Real Corpora
AI 导读
研究提出一种将验证损失分解为近似、估计与记忆三项的框架，并在熵率已知的受控数据源上证明随机 Token 替换会把预测拉向语料平均值。在替换有效的场景中，它可将记忆导致的损失上升削减约 60%；在韩日网页文本上，到固定预算结束时消除约三分之一的损失上升，但在最低点处效果小得多。十个真实语料中替换在九个上降低最终损失，仅损害冗余度最高的 census JSON 语料。
正文 · AI 翻译
摘要：当独特的预训练数据稀缺时，模型会多次看到相同的 token，并被认为会进行记忆。随机 token 替换是一种输入损坏增强方法，据报道可降低验证损失，但仅凭更低的损失并不能揭示它减少了哪种误差来源。在一个熵率已知闭式解的可控数据源上，我们表明替换会将预测收缩向语料平均值。我们还引入了一种分解方法，将验证损失分为近似项、估计项和记忆项。这种收缩视角预测，替换的偏差成本不需要记忆，但其收益需要记忆。记忆会在其最小值之后提高验证损失，因此我们报告两个点上的效应：最小验证损失和固定预算结束时的损失。在替换有帮助的地方，它使这一上升减少约 60%。在预算结束时，随着可控数据源变得更不可预测，它从有害转为有益；在最小值处，在固定配方下它在任何可预测性水平上都没有帮助。在韩语和日语网页文本上，到预算结束时，替换消除了最小值之后损失上升的大约三分之一，但其在最小值处的效应要小得多。在十个真实语料库上，替换降低了其中九个的最终损失。它只损害了人口普查语料库，即程序生成的 JSON，这是十个语料库中最冗余的，并且比我们测量的另外 64 个散文和代码语料库中的任何一个都冗余得多。
| 评论： | 16 页，6 幅图。代码：此 https URL |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.27590 [cs.CL] |
| （或 arXiv:2610.27590v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.27590 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Wonsup Shin [查看电子邮件]
[v1]
2026 年 10 月 20 日星期二 03:57:15 UTC（651 KB）
来源：arXiv cs.CL · arxiv.org