研究：Transformer事实记忆容量随维度指数增长

Amirhossein Basareh 等作者发表论文，测量 Transformer 完全记住给定事实所需的最小规模。研究在 45 至 49,920 共 11 种数据规模上，通过贝叶斯优化搜索超参数，得出记忆容量随模型维度指数增长，即所需最小维度随事实数 N 呈对数增长；统计检验拒绝了幂律等其他拟合。 沿深度方向，固定宽度下最大可记忆数据量随层数亚线性增长。对含对称关系或两跳组合的结构化数据，Transformer 会利用这些规律进一步提升容量。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。