arXiv cs.AI· Xiaoyang Ye, Xiao Yao, Hairui Zhu, Yiying Yang, Bei Gan, Jinliang Lu, Tengjin Weng, Yuan Yao, Wenhao Jiang·· 1 天前AI 评分33
CARE-PO：为 LLM 智能体打造可控的工具调用效率
CARE-PO: Controllable Tool-Call Efficiency for LLM Agents
AI 导读
研究者提出 CARE-PO（Controllable Anchored Relative Efficiency Policy Optimization），用锚定任务难度且训练前固定的参考预算来为工具调用定价，缓解效率奖励随策略漂移和策略坍缩为零调用的问题。
正文 · AI 翻译
摘要：外部工具调用是 LLM 智能体的一项主要运行成本，而其训练目标几乎只与任务完成度对齐。在 GAIA 这一长程工具使用基准上，我们对两种模型规模的 Qwen3.5 轨迹进行了步骤级诊断，发现大多数轨迹都包含可移除的调用，且两种规模下的比例相近。一些方法在目标中加入效率奖励以减少调用次数，但会引入自身的问题：它们为调用定价所依据的锚点由策略自身的 rollout 计算得出（例如该组中最短的正确答案 rollout），因此会随策略变化而移动；训练可能漂向一种完全不发起工具调用的坍缩策略，这种退化在已发表的报告中以及我们的 27B 基线中都有出现；而且一次训练运行只给出一个工作点，用户无法在效率与能力之间进行权衡。我们提出 CARE-PO（Controllable Anchored Relative Efficiency Policy Optimization，可控锚定相对效率策略优化）来缓解这些问题。效率奖励以锚定到任务自身难度、且在训练前固定的参考预算来为调用定价。将训练数据中的一条成功轨迹注入每个在线 GRPO rollout 组，并对轨迹从未收集到的证据计费，可缓解向坍缩调用次数漂移的趋势。通过提示中的努力标签来塑造成本曲线，可从单次训练运行中得到一个效率工作点和一个能力工作点。在 GAIA 上，三种模型规模下的六个工作点中有五个在成功率与调用次数上同时优于其基础模型。在四个留出的多跳基准上，结果取决于规模：在 27B 和 4B 上，成功率在更低的调用次数下得以保持或提升，而在 9B 上，两个工作点都以成功率换取更少的调用。在三种规模下，整个训练过程中调用次数始终远高于零。
| 评论： | ICLR 2027 审稿中 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.12125 [cs.LG] |
| （或 arXiv:2611.12125v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.12125 由 DataCite 颁发 arXiv DOI |
提交历史
来自：Xiaoyang Ye [查看邮箱]
[v1]
2026 年 11 月 9 日星期一 09:41:37 UTC（5,083 KB）
[v2]
2026 年 11 月 12 日星期四 04:22:06 UTC（5,083 KB）
来源：arXiv cs.AI · arxiv.org