arXiv cs.CL· Rui Shi, Xunjian Yin, Jiacheng Sang, Zichuan Liu, Shuyan Zhou·· 11 小时前AI 评分34
WeAct:将动态权重切换作为智能体动作
WeAct: Dynamic Weight Switching as Agent Actions
AI 导读
WeAct 将能力专属的 LoRA 适配器选择加入智能体动作空间,通过模型原生工具调用接口按需组合能力。在八个深度研究基准上,Qwen3-32B 配合 WeAct 平均准确率较全量微调提升 6.2%,较最强静态 LoRA 合并方法提升 27.5%,且计算开销更低。该方法还支持模块化持续适配,新增代码计算适配器或更新写作适配器时主干与其他适配器保持不变。
正文 · AI 翻译
摘要:长时程智能体必须从交错轨迹中学习异构能力。更新共享参数以学习新能力可能会损害先前已获得的能力,导致灾难性遗忘。随着轨迹展开,不同阶段可能需要不同的能力,而传统的联合训练和静态适配器合并在整个执行过程中保持固定的参数配置。我们提出 WeAct(权重级内部动作),它在冻结的主干网络上训练独立的、能力特定的 LoRA 适配器,并将适配器选择加入智能体的动作空间。这些内部动作使用模型原生的工具调用接口,在共享上下文中按需组合能力。在八个深度研究基准上,采用 WeAct 的 Qwen3-32B 相比完全微调的对应方法,尽管使用的计算量更少,平均准确率仍提升了 6.2%;相比最强的静态 LoRA 合并方法提升了 27.5%。WeAct 还支持模块化持续适应:通过添加新的代码计算适配器来扩展智能体的能力,并更新现有的写作适配器以提升报告质量。这两项更新均保持主干网络和其他适配器不变,从而支持智能体的模块化持续适应。
| 评论: | 24 页,14 幅图,12 张表,包括参考文献和附录 |
| 主题: | 机器学习(cs.LG);人工智能(cs.AI);计算与语言(cs.CL) |
| 引用为: | arXiv:2610.26847 [cs.LG] |
| (或 arXiv:2610.26847v2 [cs.LG] 为本版本) | |
| https://doi.org/10.48550/arXiv.2610.26847 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Rui Shi [查看电子邮件]
[v1]
2026 年 10 月 19 日星期一 17:59:19 UTC(1,942 KB)
[v2]
2026 年 10 月 20 日星期二 04:16:18 UTC(1,943 KB)
来源:arXiv cs.CL · arxiv.org