arXiv cs.AI· Duc Anh Nguyen, Tien Ngoc Luu, Tung Pham, Toan Tran·· 12 小时前AI 评分29
Mixture-of-Control：面向 Transformer 的状态感知微调方法
Mixture-of-Control: State-Aware Fine-Tuning for Transformer-based Models
AI 导读
研究者提出 Mixture-of-Control（MoC），将逐块控制状态视为稀疏 MoE 中的专家，实现 Transformer 各层间的跨层通信，自适应融合局部与全局控制信号。在 33 个数据集和 10 个预训练模型上的实验显示，MoC 持续优于现有基于状态的微调方法，且内存与计算效率相当。该工作已被 NeurIPS 2026 主会接收。
正文 · AI 翻译
摘要：基于状态的微调已成为基于权重的 Transformer 适配的一种有吸引力的替代方案，它将轻量控制更新为状态而非模型权重，在保持参数效率的同时大幅节省内存。然而，现有大多数基于状态的方法通常只进行逐块控制更新，这限制了块间信息交换并制约了表示适配。同时，此前实现跨块通信的机制往往引入相当大的计算开销，降低了其用于高效微调的实用性。我们提出控制混合（Mixture-of-Control，MoC），一种高效的跨层通信方法，可自适应地整合局部与全局控制信号，以增强适配过程中的表示学习。MoC 将逐块控制状态视为稀疏专家混合过程中的专家，从而实现 Transformer 各块之间的高效通信。在 33 个数据集和 10 个预训练模型上、跨多种基于 Transformer 的基准进行的实验表明，MoC 始终优于现有的基于状态的微调方法，同时保持相当的内存与计算效率。
| 评论： | Advances in Neural Information Processing Systems (NeurIPS 2026 Main Conference)，38 页，13 幅图，13 张表 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2606.31397 [cs.LG] |
| （或 arXiv:2606.31397v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2606.31397 由 DataCite 颁发的 arXiv DOI |
|
| 期刊 参考： | NeurIPS 2026 |
提交历史
来自：Duc-Anh Nguyen [查看电子邮件]
[v1]
2026 年 6 月 30 日星期二 09:25:37 UTC（745 KB）
[v2]
2026 年 10 月 21 日星期三 03:11:53 UTC（722 KB）
来源：arXiv cs.AI · arxiv.org