研究提出Transformer分布内与长度泛化联合界

Marius Henry等作者提交的论文对固定精度Transformer的分布内统计泛化和长度泛化做了联合分析，给出以模型参数量、量化空间和序列字母表大小为变量的泛化保证。 理论结果显示，增加训练长度可比增加样本量高效指数倍；作者称实验支持这一预测，即少量长字符串可胜过大量短字符串。上述效率结论来自论文的理论与实验陈述，并非已独立验证的效果。

AI 根据报道生成 · 44 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。