数字表示决定Transformer算术泛化所需数据量

Laura Gomezjurado Gonzalez 发表论文称，Transformer 在一元 Collatz 预测中的泛化延迟（grokking）只在训练集整数种类很少时出现，数字的进制表示决定需要多少整数才能泛化。当进位只依赖当前位、输出位仅依赖少数相邻输入位时，所需训练整数可减少数倍，且该顺序可在训练前预测。 研究还发现，线性探针从随机初始化编码器中恢复输入低位残差的准确率与训练后相当，因此高探针准确率不能可靠证明模型学会了计算这些特征。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。