arXiv cs.AI· Tom A. Lamb, Adam Golinski, Eleonora Gualdoni, Sinead Williamson, Michael Kirchhof·· 11 小时前AI 评分38
面向任意测试时约束的预算感知多轮智能体奖励设计
Rewards for Budget-Aware Multi-Turn Agents That Adapt to Arbitrary Test-Time Constraints
AI 导读
研究让多轮 LLM 智能体在动态指定的推理预算下自行学习资源分配，在 Qwen3.5 4B 和 9B 上基于 AppWorld（token、API 调用、环境步数预算）与 BabyAI（轮次预算）训练，比较了 11 种奖励目标。
正文 · AI 翻译
摘要：大型语言模型智能体通常会被给定一个推理预算，并被要求在预算内最大化成功率。多轮智能体必须将这一预算分配到多次环境交互中。外部框架可以强制执行预算，但智能体本身能否学会何时花费以及花费多少，仍不清楚。我们研究智能体能否在动态指定的预算下学会这种分配，以及哪些奖励最能教会这种行为。我们将现有的长度惩罚适配到跨多种资源类型的预算约束上，引入新的奖励公式，并在共享训练流程中比较十一种目标函数。我们在 AppWorld 上以 4B 和 9B 规模训练 Qwen3.5 模型，预算覆盖 token、API 调用和环境步数，并在 BabyAI 网格世界中以回合预算进行训练。我们为每种环境和资源类型分别训练一个策略，每个策略都在多个预算值上训练。与未训练模型以及仅以任务成功为奖励进行训练相比，使用惩罚超支的奖励进行训练能显著提升预算内成功率和自然合规性，智能体学会根据所述预算和任务难度调整资源使用。这些收益可扩展到未见过的预算，并能零样本迁移到偏移的任务分布和新基准。奖励目标在预算内成功率和自然合规性之间存在权衡。对超支使用 sigmoid 惩罚最常能在单个预算下取得最高的预算内成功率，而对超支给予固定负奖励通常能带来最强的自然合规性。结合对超支频率和幅度的惩罚，在每个预算下与最佳方法的平均差距最小。总体而言，我们表明单个智能体可以学会跨回合分配资源，并利用预算反馈根据用户指定的预算调整行为，而无需外部预算分配控制器。
| 评论： | 32 页，8 张图 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.28409 [cs.LG] |
| （或 arXiv:2610.28409v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.28409 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Tom Lamb [查看邮箱]
[v1]
2026 年 10 月 20 日星期二 15:49:32 UTC（14,820 KB）
来源：arXiv cs.AI · arxiv.org