arXiv cs.CL· Sihan Yang, Weichen Bai, Ruichuan An, Yiming Cheng, Zhiyuan Feng, Tianyi Jiang, Renye Yan, Ning Ding, Yifan Zhang, Renrui Zhang, Yehui Tang, Wentao Zhang·· 12 小时前AI 评分31
EnvSched：面向 rollout 高效智能体强化学习的环境感知调度
EnvSched: Environment-Aware Scheduling for Rollout-Efficient Agent Reinforcement Learning
AI 导读
研究者提出在线调度器 EnvSched，通过从 rollout 历史学习，将环境—任务对组织为双关系图并预测任务内奖励方差，优先调度高方差任务与欠观察环境。在 Qwen3-8B 的强化学习实验中，EnvSched 训练 40 步后在 BFCL-v3、tau-Bench 和 ACEBench-Agent 上平均得分 48.81，超过随机任务选择训练 120 步的最高分。
正文 · AI 翻译
作者：Sihan Yang、Weichen Bai、Ruichuan An、Yiming Cheng、Zhiyuan Feng、Tianyi Jiang、Renye Yan、Ning Ding、Yifan Zhang、Renrui Zhang、Yehui Tang、Wentao Zhang
摘要：随着语言智能体可执行环境的规模不断扩大，生成并验证其 rollout 的成本也日益高昂。在有限的 rollout 预算下，这引出了一个重要问题：环境层面的数据管理能否通过将任务实例与决定其工具、状态、转移和验证的环境一起组织、评估和调度，使智能体强化学习（RL）更加高效？为解决这一问题，我们提出了 EnvSched（环境感知调度），一种从 rollout 历史中学习的在线调度器。EnvSched 通过两种互补的建模选择来分配调度价值：利用优先考虑可能提供有信息量奖励差异的任务，而覆盖则将每个批次分散到观测不足的环境和交互模式上。EnvSched 将环境—任务对组织为双关系图中的节点，其中环境内边捕捉任务语义以及共享的工具、状态和验证器结构，跨环境边捕捉抽象的执行与奖励拓扑。通过沿两类边传播历史 rollout 统计信息，它预测任务内奖励方差。这些预测引导调度器将每个批次分配给预测奖励方差高、环境和任务观测不足的任务。环境配额和相似度惩罚进一步限制集中与冗余，从而无需额外的试点 rollout 即可产生有信息量且多样的批次。在 Qwen3-8B 上的 RL 中，EnvSched 经过 40 个训练步骤后在 BFCL-v3、tau-Bench 和 ACEBench-Agent 上取得 48.81 的平均分，超过随机任务选择经过 120 个步骤所达到的最高分。在相同训练预算下，它还提升了不同模型规模的下游性能。
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.37609 [cs.LG] |
| （或本版本的 arXiv:2610.37609v1 [cs.LG]） | |
| https://doi.org/10.48550/arXiv.2610.37609 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Sihan Yang [查看邮箱]
[v1]
2026年10月27日 星期二 17:38:52 UTC（2,163 KB）
来源：arXiv cs.CL · arxiv.org