神经细胞自动机合成数据预预训练语言模型
热点事件观察中
神经细胞自动机合成数据预预训练语言模型
1 篇报道1 个报道来源1 天前更新
先了解这件事
AI 综述
研究者 Dan Lee、Seungwook Han、Akarsh Kumar、Pulkit Agrawal 提出用神经细胞自动机（NCA）生成非语言合成数据，对语言模型做“预预训练”，即在自然语言预训练之前先训练合成数据。 他们称，仅用 164M 个 NCA token，在 400M–3B 参数模型上使下游语言建模性能最高提升 6%，收敛速度最高加快 1.6 倍，效果甚至超过用 1.6B 高质量自然语言 token 预预训练。
AI 根据报道生成 · 10 小时前更新
最新进展11月14日 13:00
用神经细胞自动机预预训练语言模型：164M 合成 token 提升下游性能 6%报道时间线
沿着报道，了解事件的不同侧面。
11月14日
- arXiv cs.AI用神经细胞自动机预预训练语言模型：164M 合成 token 提升下游性能 6%
研究者提出用神经细胞自动机（NCA）生成非语言合成数据，对 LLM 做"预预训练"，即在自然语言预训练之前先训练合成数据。仅用 164M NCA token，在 400M-3B 模型上使下游语言建模性能最高提升 6%，收敛速度最高加快 1.6x，效果甚至超过用 1.6B 高质量自然语言 token 预预训练。
本事件热度走势
- 可比范围当前
- 5
- 可比范围峰值
- 711月15日 04:00
- 近 24 小时变化
- –
02468
04:0006:0008:0010:0012:00
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。