arXiv cs.AI· Cheng-Yu Hsieh, Ting-Yao Hu, Sanjoy Chowdhury, Oncel Tuzel, Raviteja Vemulapalli·· 1 天前AI 评分31
JudgeMix：面向 LLM 智能体的裁判引导混合 rollout 数据合成框架
JudgeMix: Judge-Guided Mixed-Rollout Data Synthesis for LLM Agents
AI 导读
JudgeMix 是一个裁判引导的数据合成框架，通过逐步语义评估动态交替使用目标模型与专家模型，仅在目标模型表现不佳时引入专家指导，从而在保持轨迹成功率的同时让状态分布对齐目标模型。
正文 · AI 翻译
摘要：在专家轨迹上进行监督微调（SFT）是训练 LLM 智能体的标准范式。然而，它存在众所周知的训练-推理分布不匹配问题，这要求采用目标感知的数据合成策略，使训练数据立足于目标模型的原生状态分布。为弥合这一差距，新兴方法引入专家，或与目标模型一起引导混合 rollout，或提供密集的逐步监督。尽管如此，现有方法在应用专家辅助时对目标模型的固有行为视而不见：它们要么使用次优的随机干预启发式方法破坏 rollout，要么施加不加区分的统一监督，不必要地覆盖模型已经正确的动作。我们提出 JudgeMix，一个由评判器引导的数据合成框架，它基于逐步语义评估动态地交替使用目标模型和专家。JudgeMix 在目标模型遇到困难时精确地查询专家指导，确保高轨迹成功率，同时保持状态分布与目标模型对齐。它还利用评判器评估对不同步骤的专家监督进行重新加权，在纠正模型错误的同时保留其固有的有效行为。在两个智能体工具使用基准 AppWorld 和 AutomationBench 上，JudgeMix 表现出持续优于现有方法的性能，提升最高达 10 个 pass@1 点。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2611.16174 [cs.LG] |
| （或 arXiv:2611.16174v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.16174 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Cheng-Yu Hsieh [查看电子邮件]
[v1]
2026年11月12日星期四 02:03:23 UTC（15,542 KB）
来源：arXiv cs.AI · arxiv.org