arXiv cs.AI· Jiawei Zhou, Bo Peng, Yuxuan Huang, Ming Zhang, Youbang Sun, Xiang Wang, Chaochao Lu·· 12 小时前AI 评分34
通用技能优化器真能激励智能体任务吗？BiPA 用二分归因重新审视技能优化
Does Your Generalist Skill Optimizer Really Incentivize Agentic Tasks? Rethinking Skill Optimization via Bipartite Attribution
AI 导读
BiPA 通过让优化器对与种子完全相同的候选重放接受规则，发现三个优化器、三个智能体基准和两个模型上学到的技能成功率与手写种子基本持平，平均仅高 0.1 分，且在测试集上开发集增益消失。
正文 · AI 翻译
摘要：技能优化器通过改写智能体的技能（即其上下文中的一段自然语言流程），并保留那些能在小型开发集上提升成功率的修改，使智能体适应长时程任务，例如修复终端环境。在此类任务上，成功与否带有噪声，因此在小开发集上的提升并不能说明某项修改确实有帮助，而成功率分数也无法说明该修改的代价。我们提出 BiPA，它在与优化器种子完全相同的候选上重放优化器的接受规则，以衡量仅靠选择本身会报告出什么结果，并将每个回合记录为回合与其所读文本的二部图，从而把额外的输入 token 追溯到其背后的行为。在三种优化器、三个智能体基准和两个模型上，学习得到的技能成功率与手写种子大致相当，平均高出 0.1 分。它们在开发集上的增益在测试集上消失：在最多 30 个任务上保留若干候选中的最佳者，即使没有任何候选发生变化，也会报告出如此大的增益。它们多读取了约 16% 的输入 token：优化器几乎总是添加规则，其中一半用于复核工作，一些用于一次只执行一个调用，而智能体会遵循这些规则产生额外回合，每个回合都会重新发送整个对话。由此得出四条原则：只有当某项修改的增益超过仅靠选择本身所报告的结果时才接受它；按其增加的回合数而非长度来计算代价；让编辑器能够删除和合并规则；向它展示先前规则所付出的代价。代码见 此 https URL。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.37201 [cs.AI] |
| （或 arXiv:2610.37201v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.37201 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Jiawei Zhou [查看邮箱]
[v1]
2026年10月27日星期二 13:21:09 UTC（746 KB）
来源：arXiv cs.AI · arxiv.org