研究者用16MB冻结码表替换Gemma 3 270M嵌入表
热点事件持续更新
研究者用16MB冻结码表替换Gemma 3 270M嵌入表
1 篇报道1 个报道来源10 小时前更新
先了解这件事
AI 综述
Sai Kiran Bathula 提出用一张 16 MB、512-bit 的冻结码表替换 Gemma 3 270M 的可训练嵌入表。该码表由预训练嵌入经主成分投影和符号二值化一次性生成，不含可训练参数；研究者用相同 2.05B tokens 从头训练同构模型，对比有、无该码表两种情况。 研究者称，该实验的权重、数据和全部评测答案均已公开。目前尚无该方案相对可训练嵌入表的效果结论。
AI 根据报道生成 · 1 小时前更新
最新进展10月19日 12:00
冻结 16 MB 词表能否替代可训练嵌入？小型与三值语言模型实验报道时间线
沿着报道，了解事件的不同侧面。
10月19日
- arXiv cs.CL冻结 16 MB 词表能否替代可训练嵌入？小型与三值语言模型实验
研究者用一个由预训练嵌入经主成分投影和符号二值化得到的 512-bit 冻结码表（16 MB、无可训练参数）替换 Gemma 3 270M 的嵌入表，并在相同 2.05B tokens 上从头训练同构模型对比。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。