arXiv cs.AI· Bingxiang He, Pengqi Sun, Shihao Peng, Shaoxuan Li, Huiyu Xiao, Hongjian Shi, Zixuan Fu, Ziqing Qiao, Yuxin Zuo, Cheng Qian, Xinqiang Yu, Jiayi Li, Xiusi Chen, Yizhen Song, Xiangyang Wang, Iofai Lei, Yudong Wang, Ning Ding, Zhiyuan Liu, Xiaozhi Wang, Chaojun Xiao·· 2 天前AI 评分34
AutoSFT：面向监督微调自动化数据研究的多智能体系统
AutoSFT: An Agentic System for Automated Data Research in Supervised Fine-Tuning
AI 导读
AutoSFT 是一个多智能体系统，用于自动化监督微调（SFT）中的数据研究。它通过元智能体将执行与分析分离，从独立角度收集提案，并调用合成子智能体补充数据池无法覆盖的能力。相比单智能体仅能调整类别比例，其分析子智能体将最佳 IFEval 提升 +6.5，合成再增 +3.4 IFEval 和 +2.9 IFBench，代码任务上分析带来 +3.7 MBPP+。
正文 · AI 翻译
作者：Bingxiang He、Pengqi Sun、Shihao Peng、Shaoxuan Li、Huiyu Xiao、Hongjian Shi、Zixuan Fu、Ziqing Qiao、Yuxin Zuo、Cheng Qian、Xinqiang Yu、Jiayi Li、Xiusi Chen、Yizhen Song、Xiangyang Wang、Iofai Lei、Yudong Wang、Ning Ding、Zhiyuan Liu、Xiaozhi Wang、Chaojun Xiao
摘要：语言模型智能体越来越多地自动化后训练，但当获得完整的训练技术栈时，它们会收敛到监督微调，并把大部分精力花在修改训练数据上。现有系统只给智能体一种控制方式，即从固定池中选择行或调用生成器，而人类数据工程师会调整比例、修剪、修复、替换和合成数据。我们为这些变化设计了一个数据动作空间，并探究自动化系统能否做出全部动作而非其中一种，以及这需要什么样的结构。我们首先用单个智能体运行这一循环，它只达到一种动作，即调整类别比例，同时其上下文被执行输出填满并在搜索中途被丢弃。因此我们引入 \textbf{AutoSFT}，一个多智能体系统，其中元智能体将执行与分析分离，从独立角度收集提案，并调用合成子智能体来获得数据池无法覆盖的能力，且在每次比较中模型、训练器和预算都固定。依次添加每个组件都有帮助：执行器将上下文损失减半，分析子智能体将最佳 IFEval 提升 $+6.5$，合成则增加 $+3.4$ IFEval 和 $+2.9$ IFBench。同一循环可迁移到代码，其中分析在单个智能体之上增加 $+3.7$ MBPP+，而单个智能体没有提升。每个结果都来自每轮从基础模型重新训练的运行，因此每个组件的效果都可单独归因。我们的发现表明，自动化 SFT 数据研究更多取决于覆盖多样的数据动作，而非更强的单一动作。
| Comments: | 27 页，16 张图 |
| Subjects: | 人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.22194 [cs.AI] |
| （或 arXiv:2610.22194v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.22194 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Bingxiang He [查看邮箱]
[v1]
2026年10月15日星期四 16:44:34 UTC（2,543 KB）
来源：arXiv cs.AI · arxiv.org