MERLIN改进多状态线性注意力聚合

Hee Seung Hwang等作者提出MERLIN（MomEnt Routing for multi-state LINear attention），一种用于多状态线性注意力的路由方法，目标是提升长上下文建模。 该方法追踪每个上下文分段key的一阶与二阶矩，让查询同时恢复对齐的均值与方差，从而实现更内容感知的多状态聚合。上述效果来自作者在论文中的表述，尚待独立验证。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。