arXiv cs.AI· Wenfeng Wang, Jianrui Shi, Mingang Guo, Jiayuan Ma, Yuqi Lu, Jiajun Sun, Guojiang Zhao, Jing Li·· 3 天前AI 评分37
Trace-to-Architecture：用执行轨迹诊断 LLM 智能体能力瓶颈并修订 harness
Trace-to-Architecture: Capability Bottleneck Diagnosis for Harness Revision
AI 导读
研究者提出 Trace-to-Architecture（T2A）框架，利用成功与失败任务的执行轨迹定位 LLM 智能体 harness 中需要修改的组件，并通过验证目标任务是否改善、已成功任务是否保持、编辑是否被触发来迭代修订。
正文 · AI 翻译
摘要：改进 LLM 智能体需要知道它失败时该改什么。相似的失败可能需要不同的修复，而解决一个问题又可能暴露出另一个问题。我们提出 Trace-to-Architecture（T2A），一个利用执行轨迹来确定智能体 harness 中该改什么以及这些改动何时适用的框架。开发智能体利用成功和失败任务的执行证据来诊断失败，修订相应的 harness 组件，然后检查目标任务是否改善、选定的成功任务是否仍成功，以及这些编辑是否真的被触发。新的执行证据指导后续的诊断和修订。在 ALFWorld、ScienceWorld 和 AppWorld 上，T2A 为三个被评估的任务智能体都取得了最高的总得分，分别超过它们各自最强的基线 6.2--30.3 分。我们还将 T2A 的诊断和验证流程集成到 Meta-Harness 中，使所得 harness 在相同起始 harness 下的 ScienceWorld 平均得分提高了 21.6 分。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.16725 [cs.AI] |
| （或 arXiv:2610.16725v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.16725 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Jianrui Shi [查看邮箱]
[v1]
2026年10月12日星期一 12:56:13 UTC（1,884 KB）
来源：arXiv cs.AI · arxiv.org