自训练语言模型的Renyi熵交叉顺序

Pranjal Srivastava 提交的论文对英文 GPT-2 进行九代递归自训练，发现随采样温度升高，Renyi 熵的变化会依次从损失转为增益，顺序为 min-entropy、碰撞熵、Shannon 熵和观测丰富度。 在 T = 1 的未截断训练中，第 9 代在 13,000 词规模下词类型比第 0 代少 24%，但碰撞熵反而高 0.91 bits。论文称该交叉顺序在更细网格、不同测量采样器、固定词预算和五个新训练种子下均保持稳定。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。