arXiv cs.CL· Dongzhuo Li, Fangzhou Cheng, Weiwei Li, Kevin Han, Haixu Ma, Zhongchang Sun, Ruiyi Li, Serena Li, Xiangjun Fan, Lizhu Zhang, Yuandong Tian·· 3 天前AI 评分45
TreeFlex：让智能体在自己的搜索树上导航
TreeFlex: Agents Navigating Their Own Search Trees
AI 导读
TreeFlex 是一个让智能体自身策略决定搜索位置的框架：模型以 Reflection 和 Execution 两种角色，在 harness 维护的搜索树上选择加深、分支、回访或停止，并用树感知的 GRPO 联合训练导航、任务动作、检查点与方案评审。
正文 · AI 翻译
作者：Dongzhuo Li、Fangzhou Cheng、Weiwei Li、Kevin Han、Haixu Ma、Zhongchang Sun、Ruiyi Li、Serena Li、Xiangjun Fan、Lizhu Zhang、Yuandong Tian
摘要：ReAct 风格的智能体在单一上下文中累积观测、中间结果和失败尝试。随着上下文增长，陈旧和偏离路径的信息消耗其有限容量并掩盖相关证据，使聚焦推理愈发困难。我们提出 TreeFlex，一个由智能体自身策略决定搜索位置的框架。智能体将每个中间状态连同简短摘要记录为由 harness 维护的搜索树中的一个节点。该策略是单个语言模型，扮演两种角色。在 Reflection 角色中，它通过这些摘要获得树的全局视图，并选择一个节点恢复，同时给出指令。在 Execution 角色中，harness 恢复通向该节点的路径，模型使用常规任务工具执行指令，直到保存新节点或提出解决方案，随后 Reflection 批准该方案或将其送回另一节点。通过这些选择，策略决定是加深当前线路、从更早状态分支或重访、验证提案，还是停止，而无需固定遍历顺序或为每个节点打分。我们使用任务级结果奖励并辅以过程奖励，通过树感知的 GRPO 适配联合训练导航、任务动作、检查点和提案审查。在对 4B 模型进行小规模 RL 后，所有方法使用相同的活动上下文限制，TreeFlex 在一个具有挑战性的深度研究基准上达到 48.8% 的准确率，而扁平 ReAct 为 41.5%，FoldAgent 为 42.8%，其 Pass@8 比两者高出约十个百分点。在 SWE-bench Verified 上，三个系统均从同一 9B 模型进行 RL 训练，TreeFlex 解决了 54.9% 的任务，而 FoldAgent 为 43.3%，其逐步变体为 45.2%。
| 学科： | 人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.20334 [cs.AI] |
| （或 arXiv:2610.20334v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.20334 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Dongzhuo Li [查看电子邮件]
[v1]
2026年10月14日星期三 15:16:50 UTC（1,453 KB）
来源：arXiv cs.CL · arxiv.org