arXiv cs.AI· Zhi Hong, Qianlong Wang, Hongchen Wei, Aidan Wu, Daohong Ying, Mingze Kong, Bei Liu, Chong Luo·· 11 小时前AI 评分49
HarnessFlow：用 MCTS 引导 LLM 智能体的 Harness 优化
HarnessFlow: MCTS-Guided Harness Optimization for LLM Agents
AI 导读
HarnessFlow 是一个在固定模型与任务环境下、于有限候选评估预算内优化完整可执行 harness 的框架，用 MCTS 策略在精炼树中平衡利用与探索，并由编码智能体结合归档代码、执行反馈和可复用 harness 机制库改进候选。
正文 · AI 翻译
摘要：大型语言模型（LLM）智能体的性能既取决于底层模型，也取决于管控其与工具及环境交互的 harness。然而，harness 设计在很大程度上仍依赖人工，而将其自动化需要通过代价高昂的端到端评估来探索一个开放式的搜索空间。我们提出 HarnessFlow，一个在有限候选评估预算下优化完整可执行 harness 的框架，且模型与任务环境保持固定。HarnessFlow 在精炼树中组织候选及其评估历史，使用基于蒙特卡洛树搜索（MCTS）的策略来平衡利用与探索。编码智能体利用归档代码、执行反馈以及可复用 harness 机制库来精炼选定的 harness。在每个基准 15 次精炼尝试下，HarnessFlow 在涵盖智能体任务、编码和网页交互的六个基准上取得了所比较方法中最高的平均测试分数。优化后的 harness 平均得分为 69.48%，分别比初始 harness 和 Meta-Harness 高出 10.89 和 3.95 个百分点，同时平均每任务执行成本低于人工设计的基线。这些结果表明，结构化 harness 搜索为自动化设计能力强且高效的 LLM 智能体提供了一条有前景的路径。
| 评论： | 18 页，8 幅图，7 张表 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2611.06254 [cs.AI] |
| （或 arXiv:2611.06254v1 [cs.AI] 为本版本） | |
| https://doi.org/10.48550/arXiv.2611.06254 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Zhi Hong [查看邮箱]
[v1]
2026 年 11 月 4 日星期三 10:05:15 UTC（320 KB）
来源：arXiv cs.AI · arxiv.org