arXiv cs.CL· Md Tahmid Rahman Laskar, Xue-Yong Fu, Shashi Bhushan TN·· 11 小时前AI 评分34
一个微调模型能否包揽所有任务？客服 LLM 的微调策略选择研究
Can One Adapted Model Do It All? Fine-Tuning Strategy Selection for Customer Support LLMs
AI 导读
研究用 Qwen3、Qwen3.5、Gemma-3、Llama-3.1、Mistral 五个家族 0.6B 到 32B 的 13 个模型、8 个客服数据集（约 74.5k 训练样本、8.7k 评测样本）训练超 200 个 checkpoint，发现多任务全量微调在各模型规模下都是最强的默认策略。
正文 · AI 翻译
摘要：生产环境中的客户支持系统通常要求 LLM 支持多种技能，例如意图分类、问答、摘要或工具使用决策。一个核心的部署问题是：这些技能应当由各自独立的任务专家模型来处理，还是由一个通过多任务训练、顺序更新或模型合并训练出的单一模型来处理。我们使用来自五个模型家族（Qwen3、Qwen3.5、Gemma-3、Llama-3.1 和 Mistral）的十三个模型来研究这一问题，模型规模从 0.6B 到 32B 参数，覆盖八个客户支持数据集，其中包括四个公开数据集和四个专有数据集，约 74.5k 训练样本和 8.7k 评估样本。在固定的训练协议下，我们训练了 200 多个检查点。实验表明，在我们测试的每一种模型规模下，多任务全量微调都是最强的运营默认方案。专家模型在其目标任务上表现强劲，但在非目标任务上往往急剧退化，因此可靠的路由十分重要。顺序低秩适配（LoRA）比顺序全量微调能更好地保留先前的技能，而将专家模型与其基础模型合并可提升非目标任务的鲁棒性，对于较大的模型，同任务性能损失有限。最后，我们给出了在真实场景中选择微调策略的实用指南。
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2609.27262 [cs.CL] |
| （或 arXiv:2609.27262v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2609.27262 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Md Tahmid Rahman Laskar [查看电子邮件]
[v1]
2026年9月23日星期三 02:46:50 UTC（89 KB）
[v2]
2026年11月4日星期三 02:13:40 UTC（89 KB）
来源：arXiv cs.CL · arxiv.org