arXiv cs.CL· XinYu Piao, Myunghoon Ryu, Joongheon Kim, Jong-Kook Kim·· 12 小时前AI 评分34
SKIM：让冻结语言模型在参数内自键记忆实现无外部存储的对话召回
Self-Keyed In-Parameter Memorization for External Memory-Free Dialogue Recall in Frozen Language Models
AI 导读
研究者提出 self-keyed in-parameter memorization（SKIM），一种闭式方法：模型为每轮对话自行生成多个问题并写入参数作为检索键，之后仅凭参数即可从用户的不同措辞提问中召回该轮内容。在五个语言模型上评估，SKIM 能从后续用户提问中召回大部分已存储对话轮次，且无需任何外部存储。
正文 · AI 翻译
摘要：大型语言模型将对话内容保存在模型外部的存储中，并随着对话的持续而增长。本工作假设一种环境：语言模型没有外部记忆，也不预先知道未来的问题或其答案。其动机是研究能否将一段对话存储在模型参数中，并在之后回答关于它的问题。本工作提出自键参数内记忆（SKIM），这是一种闭式方法，模型为每个对话轮次生成自己的问题，并将这些问题作为键写入其参数，以便之后检索该轮次的内容。为每个轮次生成许多不同的问题，使得之后用户的问题即使措辞不同也能匹配其中一个，并且仅从参数中回忆出其答案。在五个语言模型上评估，SKIM 能从之后的用户问题中回忆起大多数已存储的对话轮次，并且仅从模型参数中作答，无需任何外部存储。
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.36948 [cs.CL] |
| （或 arXiv:2610.36948v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.36948 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：XinYu Piao [查看电子邮件]
[v1]
2026年10月27日星期二 10:10:11 UTC（1,027 KB）
来源：arXiv cs.CL · arxiv.org