跳到正文
热点事件持续更新

STAIR:复用前序注意力键值提升推理

1 篇报道1 个报道来源10 小时前更新

先了解这件事

AI 综述

研究者 Jipei He 等人提出 STAIR 方法,把前序回答生成过程中的 attention key 与 value 存入只读 bank,供后续问题复用,以提升大模型推理表现。 该方法保持主干模型和已存条目固定,只训练 12,288 个参数,通过学习反射当前 query 向量来重定向对历史 bank 的注意力。这是论文给出的方法设定,实际推理提升幅度尚未在报道中给出。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月20日
  1. arXiv cs.CL
    STAIR:利用前序问题计算提升 LLM 后续解题能力

    研究者提出 STAIR(Stale-Token Attention for Inter-query Reuse),将前序回答生成中的 attention key 与 value 存入只读 bank,仅训练 12,288 个参数,通过学习反射当前 query 向量来重定向对该 bank 的注意力。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。