arXiv cs.CL· Rongguang Ye, Zhan Zhuang, Yichen Wu, Ming Tang, Kede Ma·· 13 小时前AI 评分20
LAPS：为大语言模型持续适应学习锚定提示词空间
Learning an Anchored Prompt Space for Continual Adaptation of Large Language Models
AI 导读
研究者提出 Learning an Anchored Prompt Space（LAPS），通过自蒸馏将历史提示词与更新后的模型对齐，并用可学习的 Bézier 控制提示词构建锚定提示词空间，显式学习任务间提示词关系以促进正向迁移。在 TRACE 基准上，LAPS 于三个 Qwen3 模型规模下均优于基于蒸馏、基于提示词及提示词-参数联合适应的方法，整体任务性能提升且遗忘减少。
正文 · AI 翻译
摘要：持续适配大语言模型需要在获取新知识的同时保留先前学到的能力。尽管联合适配模型参数和任务特定的软提示很有前景，但它有两个关键局限：随着模型演进，先前学到的提示可能失去效果，而且能够支持跨任务迁移的提示之间的关系没有被显式学习。我们提出学习锚定提示空间（LAPS），它保留历史提示的有效性，并学习任务特定软提示之间的关系以促进正向迁移。历史提示首先通过自蒸馏与更新后的模型对齐。然后，LAPS 构建一个锚定提示空间，其顶点对应于已学习的任务特定软提示，其中间几何形状由可学习的贝塞尔控制提示塑造。一旦该空间被学习，LAPS 会在每个任务的验证集上识别表现最佳的提示，使所选提示能够利用从相关任务中获得的知识。在 TRACE 基准上跨三个 Qwen3 模型规模的实验表明，LAPS 始终优于现有的基于蒸馏、基于提示以及提示-参数联合适配的方法，在提升整体任务性能的同时减少遗忘。
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2609.32499 [cs.CL] |
| （或 arXiv:2609.32499v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2609.32499 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Rongguang Ye [查看电子邮件]
[v1]
2026年9月26日星期六 11:39:55 UTC（3,278 KB）
[v2]
2026年10月27日星期二 13:08:41 UTC（3,330 KB）
来源：arXiv cs.CL · arxiv.org