arXiv cs.CL· Yue Wu, Yang Zhang, Weinan Gan, Chongming Gao, Xinsen Guo, Xiaoyuan Li, Fuli Feng·· 12 小时前AI 评分34
Select-TTT：面向 In-Place TTT 的查询条件选择性快速权重更新
Select-TTT: Query-Conditioned Selective Fast Weight Updates for In-Place Test-Time Training
AI 导读
Select-TTT 提出一种模型无关、以用户查询为条件的 In-Place TTT 写入规则，按每个 chunk 与查询的相关性缩放其写入强度，从而缓解无关内容稀释快速权重记忆的问题。
正文 · AI 翻译
摘要：测试时训练（TTT）使已部署的语言模型能够即时将传入的上下文内化为一小组快速权重参数，而不是仅仅将其视为用于注意力的临时上下文。In-Place TTT 最近通过将标准 MLP 块的下投影重新用作快速权重，使这一想法对大型语言模型变得实用。然而，我们发现，在真实的网络长上下文问答中，其收益基本消失。我们将此归因于 In-Place TTT 的统一写入调度：每个块都以相同的强度写入，因此无关内容会稀释快速权重记忆中与查询相关的信息。基于这一洞见，我们提出了 Select-TTT，这是一种用于 In-Place TTT 的模型无关、以查询为条件的规则，它根据每个块与用户查询的相关性来缩放其写入强度。这种相关性信号无需监督，也无需新参数：它直接从模型冻结的输出头中读取，即一个块的隐藏状态分配给查询词元的概率质量。温度缩放的 softmax 将这些分数转换为学习率乘数，同时保持 In-Place TTT 的逐块、上下文并行计算不变。Select-TTT 在两个基准和两个骨干模型上持续改进长上下文问答。这些发现凸显了以查询为条件的快速权重写入对于长上下文问答中实用测试时训练的价值，这对于涉及在演变上下文中进行多次用户查询的长时程智能体任务也可能具有前景。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.36794 [cs.LG] |
| （或 arXiv:2610.36794v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.36794 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yue Wu [查看电子邮件]
[v1]
2026年10月27日星期二 07:58:39 UTC（249 KB）
来源：arXiv cs.CL · arxiv.org