arXiv cs.AI· Fangfei Li, Chenyang Zhao, Long Wang, Feng Tian, Lv Guo·· 3 天前AI 评分31
Trace Evolution Bench：衡量智能体能否从自身环境轨迹中进化
Trace Evolution Bench: Measuring Whether Agents Improve from Their Own Environment Traces
AI 导读
研究者提出 Trace Evolution Bench（TEB），将端点增益拆分为重打分与上下文或权重更新，并给出三套冻结的 80/20/40 数据包，仅当验证集不下降时才接受更新。
正文 · AI 翻译
摘要：自进化智能体通常以端点增益（Gain）来评分：更新后的留出成功率减去更新前的成功率。这一差值可能把一次冻结的重新评分算作进化。我们提出 Trace Evolution Bench（TEB），一种将该重新评分与上下文或权重更新区分开的协议，并附带三个冻结的 80/20/40 数据包。仅当验证结果不下降时才接受更新，留出标识符绝不进入更新，且文本更新不与权重更新一同排名。主要记分板为编码，由封闭工作区中的隐藏单元测试评分。在该数据包上（40 个留出任务，一个家族），no_evolve 下的 DeepSeek v4 Pro 从不改变其策略，却在三个随机种子间分别变动 7.5、5.0 和 12.5 个百分点。在受 GEPA、ACE 和 ExpeL 启发的九个文本更新单元中，七个相对于该种子自身的波动带具有正超额，且一个 gepa_llm 种子下降幅度等于其波动带宽度（-12.5，回归 0.48）。GLM 和 MiniMax 未能复现这种九分之七的模式。没有任何方法在全部三个模型的每个种子上都保持高于自身波动带：GLM 有两个配对单元高于自身波动带，MiniMax expel_llm 种子 44 是第三个（回归 0.30）。这些方法在读取留出数据之前已在验证筛选上固定。办公，由规则约束的交付评分，以及制造业表格问答是独立的数据包：办公 DeepSeek 未超过自身波动带（最宽 17.5 个百分点），制造业没有超出其种子波动带的配对正超额。
| Subjects: | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.15055 [cs.AI] |
| （或 arXiv:2610.15055v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.15055 arXiv 颁发的 DOI 经由 DataCite（待注册） |
提交历史
来自：Fangfei Li [查看电子邮件]
[v1]
2026年10月10日星期六 16:45:52 UTC（298 KB）
来源：arXiv cs.AI · arxiv.org