LooM提出循环不变记忆机制

Lele Yang等作者提出循环不变记忆机制LooM，用于因果编码器-解码器语言模型。该方法只循环第一层之后的解码器层，每层仅在首次访问某个token时写入KV条目，使缓存不随循环次数增长。 据作者称，该设计支持每个token执行3至21次解码器层的任意预算，单个在随机预算上训练的模型即可覆盖全部预算且无需路由器。在相同缓存大小下，LooM在语言建模、零样本准确率和长上下文困惑度上均优于单次前向基线。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。