arXiv cs.CL· Sichun Luo, Yi Huang, Mukai Li, Haochen Luo, Guanzhi Deng, Haibo Wang, Jian Xu, Zefa Hu, Junlan Feng, Qi Liu·· 12 小时前AI 评分31
LLM 驱动的 Agent 脚手架演化中，评估预算该如何分配？
Where Should the Evaluation Budget Go in LLM-Driven Agent Scaffold Evolution?
AI 导读
针对 LLM 驱动的 Agent 脚手架演化中全量评估成本过高的问题，研究提出将评估预算分配给搜索反馈与最终选择两种角色：稀疏反馈即可维持有效演化，额外定向评估则改善最终选择。
正文 · AI 翻译
摘要：由大语言模型（LLM）驱动的智能体脚手架演化通过迭代生成候选并评估来改进智能体工作流。评估既指导后续搜索，也决定最终脚手架，但在完整任务集上评估每个候选会带来大量执行成本。我们研究了如何在这两种角色之间分配评估预算。实验表明，稀疏反馈可以维持有效的演化，而额外的针对性评估能改进最终选择。回放分析进一步表明，共享的信息性条目和共同的评分参考支持在高度接近的候选之间进行比较。基于这些发现，我们提出 \method，一个将稀疏搜索时反馈与针对性最终确认相结合的评估分配框架。一个经过完整评估的短预热阶段建立了共享的信息性核心，并校准了一个响应模型，其条目参数在搜索期间保持固定。搜索之后，\method 重新拟合该模型并应用配对逐次减半，复用累积的观测结果，仅执行缺失的评估。在四个基准和两个演化框架上，\method 在大多数设置下取得了比完整评估更高的平均性能，同时使用的评估单元数约为其一半。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL）；神经与进化计算（cs.NE） |
| 引用为： | arXiv:2610.37276 [cs.LG] |
| （或 arXiv:2610.37276v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.37276 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Sichun Luo [查看电子邮件]
[v1]
2026年10月27日星期二 14:06:26 UTC（622 KB）
来源：arXiv cs.CL · arxiv.org