arXiv cs.CL· Pranjal Srivastava·· 10 小时前AI 评分31
自训练下语言模型的丰富度与均匀度：Renyi 熵交叉顺序研究
Richness Is Not Evenness: Ordered Renyi Crossings under Self-Training
AI 导读
对英文 GPT-2 进行九代递归自训练后发现，随训练采样温度升高，Renyi 熵的变化会依次从损失转为增益，顺序为 min-entropy、碰撞熵、Shannon 熵和观测丰富度。在 T = 1 的未截断训练中，第 9 代在 13,000 词规模下词类型比第 0 代少 24%，但碰撞熵反而高 0.91 bits。该交叉顺序在更细网格、不同测量采样器、固定词预算和五个新训练种子下均保持稳定。
正文 · AI 翻译
摘要：语言模型的递归自训练（模型坍缩研究中涉及的一种设定）可能缩减词汇量，同时使高频词（多为功能词）的主导性下降。我们在自身输出上对英文 GPT-2 进行九代微调，改变训练数据的采样温度，并用同一个固定采样器测量每个模型。随着训练温度升高，Renyi 熵的变化在不同温度下由损失转为增益：先是 min-entropy，然后是碰撞熵、Shannon 熵和观测丰富度。在外侧交叉点之间，词类型数下降，而最常见词的主导性减弱。在 T = 1 下不截断训练正处于该区间：在 13,000 词时，第 9 代的类型数比第 0 代少 24%，但碰撞熵高出 0.91 比特。该排序在更细的网格、不同的测量采样器、固定词预算和五个全新训练种子下依然成立。在另外四种设定中（印地语仅在插值根上），min-entropy 再次先于丰富度交叉；在八种文本表示下的 13 种不同测量中，有 12 种也是如此。下一词身份和分类模拟分离了解码与采样效应；交叉顺序仍为经验性的。在人类文本上微调可产生同样的分化，同时似然改善，且在所测试的设定中，没有任何单一顺序的符号能可靠地标识更差的似然。我们建议在给定预算下报告熵分布，并附上独立的质量度量。
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2611.08892 [cs.CL] |
| （或 arXiv:2611.08892v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.08892 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Pranjal Srivastava [查看电子邮件]
[v1]
2026年11月6日星期五 02:31:07 UTC（217 KB）
来源：arXiv cs.CL · arxiv.org