跳到正文
热点事件持续更新

混合线性注意力模型跨模型状态迁移方法HST提出

1 篇报道1 个报道来源10 小时前更新

先了解这件事

AI 综述

Jiacheng Cai等作者提出混合线性注意力LLM的跨模型状态迁移方法HST，在模型间同时交接FA缓存、循环状态（REC）与卷积历史（Conv）三类状态。 在五个基准上，Qwen3.5 4B→27B与9B→27B的平均任务保留率分别为89.88%和94.11%；在源缓存已就绪时，合成16K输入上的交接主体加速达21.66×和21.91×。

AI 根据报道生成 · 1 小时前更新

最新进展11月6日 13:00
超越 K/V 缓存：混合线性注意力 LLM 的跨模型状态交接

报道时间线

沿着报道，了解事件的不同侧面。

11月6日
  1. arXiv cs.CL
    超越 K/V 缓存：混合线性注意力 LLM 的跨模型状态交接

    研究提出 Hybrid State Transfer（HST），在混合线性注意力 LLM 间同时交接 FA 缓存、循环状态（REC）与卷积历史（Conv）三类状态。在五个基准上，Qwen3.5 4B→27B 与 9B→27B 的平均任务保留率分别为 89.88% 和 94.11%；在源缓存已就绪时，合成 16K 输入上的交接主体加速达 21.66× 和 21.91×。

本事件热度走势

还没有足够的连续观测数据，暂不绘制趋势。