GRAFT为连续扩散语言模型补回采样接口

Haoning Yang 与 Lili Pan 提出免训练方法 GRAFT，针对连续扩散语言模型 ELF 的稀有词采样缺陷：ELF 在常见词上与人类文本几乎一致，但最稀有词出现率仅为人类的 0.30x，且从 105M 到 652M 参数规模都未收窄。 研究将问题归因于模型缺少逐步离散采样、每步对候选做平均。GRAFT 的做法是：在模型尚未定夺时锁定那些会被平均丢弃的稀有词，再带着这些锁定从头重新生成序列。作者称该方法无需训练，可直接作用于冻结模型。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。