arXiv cs.AI· Michal Chudoba, Sergey Alyaev, Petra Galuscakova, Tomasz Wiktorski·· 13 小时前AI 评分32
ART：用一张输入图像微调多模态 LLM 的强化训练方法
Fine-tuning Multi-modal LLMs with ART: Art-based Reinforcement Training
AI 导读
研究提出 Art-Based Reinforcement Training（ART），通过优化一张辅助输入图像，让冻结的多模态 LLM 适配特定任务，推理时只需把该图像放进标准多模态提示词，无需改动服务引擎。
正文 · AI 翻译
摘要：将大语言模型（LLM）适配到特定任务通常涉及微调：低秩适配（LoRA）编辑权重，而软提示则前置可训练的虚拟 token。两者都会改变已优化模型的 serving 方式，因此要以高吞吐量 serving 许多任务特定的适配器，就需要适配器感知的基础设施。我们提出基于艺术的强化训练（ART），它优化单张辅助输入图像，使冻结的多模态大语言模型（MLLM）专门化于特定任务。在推理时，ART 只需将这张图像包含在每个标准多模态提示中，无需对 serving 引擎做任何更改。我们在来自三种架构的四个小型 MLLM 上，跨五个推理基准比较了 ART 与 LoRA 和软提示。虽然不同方法在不同任务上表现最佳，但 ART 在 20 个基准-MLLM 组合中的 10 个中排名第一或第二，其最佳结果出现在两个数学应用题基准（GSM8k 和 SVAMP）上。它在 2 个案例中显著领先于次优适配器，在 6 个案例中处于次优适配器的噪声范围内，并在 18 个案例中显著高于纯文本基线。因此，ART 达到了接近 LoRA 和软提示的准确率，同时 serving 速度快于 LoRA。在 vLLM serving 栈中，相对于纯文本请求，ART 将吞吐量降低 6% 至 14%，而 LoRA 则减慢 13% 至 93%。除了高效 serving 之外，ART 产物是普通图像，使其易于存储、分发和共享。这种方法将任务特定适配保持在模型权重之外，因此同一个冻结模型可以支持不同任务，而无需单独的模型变体。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2606.11854 [cs.LG] |
| （或此版本的 arXiv:2606.11854v2 [cs.LG]） | |
| https://doi.org/10.48550/arXiv.2606.11854 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Sergey Alyaev [查看电子邮件]
[v1]
2026 年 6 月 10 日星期三 09:30:37 UTC（611 KB）
[v2]
2026 年 10 月 29 日星期四 17:56:43 UTC（2,111 KB）
来源：arXiv cs.AI · arxiv.org