arXiv cs.AI· Jiaqi Zheng, Yi Hu, Yadong Mu, Muhan Zhang·· 3 天前AI 评分25
基于超网络的持续学习中的知识交互：冲突与组合
Knowledge Interaction in Hypernetwork-based Continual Learning: Conflict and Composition
AI 导读
研究在基于超网络的持续学习框架中，冻结基座模型如何通过共享网络从上下文生成 adapter，并考察基座模型、参数更新与输入上下文三种知识来源的交互。在知识冲突下模型优先跟随上下文，其选择更多取决于知识呈现位置而非内容；多跳推理中模型无法可靠组合三种来源的知识，关键失效点来自超网络与基座模型及上下文的交互。
正文 · AI 翻译
摘要：持续学习旨在让预训练大语言模型（LLM）适应不断演变的数据，同时保留其预训练能力。一个核心挑战是灾难性遗忘：适应新数据可能会损害模型在先前所学知识上的表现。由于持续学习通常会改变模型参数，模型的预测可能同时依赖基础模型、参数更新以及输入上下文中的知识。理解这些来源如何相互作用至关重要：冲突揭示了新知识能否覆盖过时知识，而多跳推理则检验新知识能否与已有知识组合以支持泛化。我们在一个基于超网络的适配框架中研究这些相互作用，其中共享网络从上下文生成适配器，使冻结的基础模型无需任务特定更新即可适应。我们发现，在知识冲突下，模型会优先遵循上下文，其选择更多取决于知识呈现的位置，而非知识内容本身。我们还表明，上下文和适配器知识会沿与基础模型干净隐藏状态正交的方向扰动其表示，这使我们能够推导出控制模型遵循哪个来源的引导向量。在多跳推理中，我们发现模型无法可靠地在三个来源之间组合知识，关键断裂源于超网络与基础模型及上下文二者的交互。代码与复现材料：this https URL
| 评论： | 23 页 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.15677 [cs.AI] |
| （或 arXiv:2610.15677v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.15677 arXiv 颁发的 DOI，经由 DataCite（待注册） |
提交历史
来自：Jiaqi Zheng [查看邮箱]
[v1]
2026年10月11日星期日 14:57:18 UTC（262 KB）
来源：arXiv cs.AI · arxiv.org