arXiv cs.CL· Saranya Dintakurthy Swadha, Pavan C Shekar, Arpit Jain, Aswanth Krishnan·· 10 小时前AI 评分35
从 LoRA 到语言：如何从适配器中还原技能文档
From LoRA to Language: Recovering Skill Documents from Adapters
AI 导读
研究提出 Executing Writer，在适配后的模型之上训练小型写作者，可从 LoRA 适配器还原技能文档，对留出技能恢复 39-44% 的关键指令，而用其他技能的适配器仅 1.3-1.5%。
正文 · AI 翻译
摘要：Agent skills 是简短文档，用于教会语言模型如何处理一类任务。为节省上下文，这些文档越来越多地被编译为低秩适配器（LoRA），后者保留了行为却丢失了文本：适配器难以阅读、编辑、审计或迁移到其他模型。我们研究能否从适配器及其冻结的基础模型中把技能文档写回来，并按每个恢复文档陈述了原始文档关键指令的比例以及它能解决的任务来评分。仅读取权重时，我们尝试的方法恢复出的内容很少；一个从权重到文本的学习映射只传递了文档约一个比特的信息。运行适配器的效果要好得多。Executing Writer 是一个在适配后模型之上训练的小型写入器，它能恢复留出技能 39-44% 的关键指令，而使用另一个技能的适配器时仅为 1.3-1.5%；在适配到 41 个外部技能的适配器上，其文档恢复了原始任务增益的 85-91%。这些最强结果出现在训练时存储了文档的适配器上；仅基于行为训练的适配器对训练过的写入器来说要困难得多（1-2% 的指令）。对于这些适配器，我们测试了一个 agent，它运行基础模型和适配后模型，并根据二者的差异写出技能。在 ALFWorld 上，其技能恢复了 LoRA 增益的 58-71%，并可迁移到无法加载该 LoRA 的模型上，将 Llama-3.1-8B 从 5% 提升到 55%。这样的技能是否来自适配器取决于适配器学到了什么：当其行为无法被猜测时，适配器就是来源；当行为可以被猜测时，不借助适配器的奖励循环也能达到同样效果。
| 评论： | 29 页，5 幅图，18 张表 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL） |
| ACM 分类： | I.2.6; I.2.7 |
| 引用为： | arXiv:2611.09454 [cs.LG] |
| （或本版本的 arXiv:2611.09454v1 [cs.LG]） | |
| https://doi.org/10.48550/arXiv.2611.09454 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Pavan C Shekar [查看邮箱]
[v1]
2026 年 11 月 6 日星期五 13:26:43 UTC（882 KB）
来源：arXiv cs.CL · arxiv.org