arXiv cs.CL· Hare Krishna·· 6 天前AI 评分15
掩码文本重建中的语料采样分歧预测
Forecasting Corpus-Sampling Disagreement in Masked Text Reconstruction
AI 导读
研究提出一种基于邻近 token 对计数的平滑预测器，可在不接触目标语料的情况下，从独立参考语料预测两份同源语料训练出的预测器之间的期望分歧。在 TinyStories、WikiText-103 和 CNN/DailyMail 上，语料从 512 增至 2,048 个 64-token 块，分歧仅下降 5–40%，远低于 1/n 缩放暗示的 75%。
正文 · AI 翻译
摘要：如果从同一群体中再收集一个文本语料库，预测器的输出会变化多少？我们针对掩码文本重建研究这一问题，使用由邻近词元对计数构建的平滑预测器，并在完整的 50,257 词元 GPT-2 词表上进行评估。将每个源文档视为一个观测，我们推导出拟合于两个独立语料库的预测器之间预期分歧的一阶公式。该公式考虑了文档长度可变、随机上下文计数以及跨词元偏移的相关性，并且可以在不访问任一目标语料库的情况下，从单独的参考语料库进行评估。在 TinyStories、WikiText-103 和 CNN/DailyMail 上，将每个语料库从 512 个 64 词元的块增加到 2,048 个，仅使分歧降低 5--40\%，远低于 $1/n$ 缩放所暗示的 75\%。该预测跟踪了这种缓慢下降，我们将其归因于对罕见上下文的平滑。预测准确性与其说取决于这些相关性如何建模，不如说取决于参考语料库的大小：小参考会系统性地低估分歧。仅使用参考数据的源拆分刀切法将这种校准误差降低了 57--59\%。经过此校正后，当参考语料库小于目标语料库时，更简单的平滑多项近似最准确；而当参考语料库更大时，非线性源自助法最准确。最后，在相同语料库上训练的小型掩码扩散语言模型表明，基于计数的预测部分识别出哪些输入对语料库最敏感，但未能捕捉到神经模型在分歧上快得多的下降。
| Comments: | 12 页 + 附录 |
| Subjects: | 计算与语言 (cs.CL)；机器学习 (cs.LG)；机器学习 (stat.ML) |
| Cite as: | arXiv:2610.12987 [cs.CL] |
| (或 arXiv:2610.12987v1 [cs.CL] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2610.12987 arXiv 颁发的 DOI 通过 DataCite（待注册） |
Submission history
来自：Hare Krishna [查看电子邮件]
[v1]
2026 年 10 月 9 日星期五 04:40:47 UTC（154 KB）
来源：arXiv cs.CL · arxiv.org