arXiv cs.CL· Jipei He, Wenhui Tan, Xiaoyi Yu, Enver Sangineto, Fiorenzo Parascandolo, Rita Cucchiara, Ruihua Song·· 10 小时前AI 评分39
STAIR:利用前序问题计算提升 LLM 后续解题能力
Can Computation from Earlier Problems Help LLMs Solve New Ones?
AI 导读
研究者提出 STAIR(Stale-Token Attention for Inter-query Reuse),将前序回答生成中的 attention key 与 value 存入只读 bank,仅训练 12,288 个参数,通过学习反射当前 query 向量来重定向对该 bank 的注意力。
正文 · AI 翻译
摘要:大型语言模型常常在同一对话中解决相互独立的问题。先前问题的计算能否帮助它们解决新问题?初步实验表明,保留的历史记录可能提高或降低后续轮次的准确率,即使在同一领域内也是如此。为了追踪这一效应,我们固定每个问题并改变其前置历史。由此产生的模型内部状态变化包含一个反复出现、依赖于问题的成分。为了利用保留的历史改进推理,我们提出了 STAIR(Stale-Token Attention for Inter-query Reuse)。它从早期响应生成中捕获注意力键和值,存入一个只读库。STAIR 学习对当前查询向量进行反射,以在提示处理期间重定向对该库的注意力。主干和存储条目保持固定;仅训练 12,288 个参数。在三个 Qwen 模型和四个推理基准上,STAIR 相比带历史的未修改模型将后续轮次平均准确率最多提高 11.67 个百分点。经数学训练的 Qwen3.5-9B 控制器还能在无需进一步训练的情况下改进 HumanEval+ 上的代码生成。
| 评论: | 42 页,8 幅图。v2:扩展了实验和分析;修订了表述 |
| 主题: | 人工智能(cs.AI);计算与语言(cs.CL);机器学习(cs.LG) |
| 引用为: | arXiv:2609.39394 [cs.AI] |
| (或 arXiv:2609.39394v2 [cs.AI] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2609.39394 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Jipei He [查看电子邮件]
[v1]
2026 年 9 月 30 日星期三 09:43:16 UTC(470 KB)
[v2]
2026 年 11 月 19 日星期四 11:31:27 UTC(562 KB)
来源:arXiv cs.CL · arxiv.org