arXiv cs.AI· Haiwen Yi, Xinyuan Song·· 3 天前AI 评分33
HarnessMDP：用离线强化学习让 LLM 智能体的执行 harness 变得可学习
HarnessMDP: Learning to Control LLM Agent Harnesses with Offline Reinforcement Learning
AI 导读
HarnessMDP 把 LLM 智能体的执行 harness 视为可学习的控制层，将智能体执行建模为有限时域马尔可夫决策过程，由 harness 根据演进的智能体状态选择结构性执行动作，并用收集到的轨迹离线学习策略、上线后自适应控制新执行。在编码任务、tau-bench、AgentBench 等评测中，HarnessMDP 相比基线 harness 持续改善执行行为与最终任务表现。
正文 · AI 翻译
摘要：执行框架（harness）是 LLM 智能体的关键组件，它决定了智能体如何与其环境交互并组织多步执行。已有研究表明，改进工具、工作流及其他框架组件可以显著提升智能体性能。这表明框架可以被视为一个可学习的控制层，能够根据经验调整执行决策，而非预先设定的执行配置。在这项工作中，我们提出了 HarnessMDP，一个基于学习的框架，使框架控制本身变得可学习。HarnessMDP 将智能体执行建模为有限时域马尔可夫决策过程，其中框架从不断演化的智能体状态中学习选择结构性执行动作。框架策略通过任务性能从收集的轨迹中离线学习，并在线部署以自适应地控制新的执行。在编码任务、tau-bench、AgentBench 及其他智能体评估设置上的大量实验表明，HarnessMDP 在基线框架之上持续改进了执行行为和最终任务性能。这些结果证明了 HarnessMDP 的有效性，并将可学习的框架控制确立为通过更好的执行来改进 LLM 智能体的一种实用机制。
| 评论： | 13 页，4 张图 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2607.05458 [cs.LG] |
| （或 arXiv:2607.05458v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2607.05458 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Haiwen Yi [查看邮箱]
[v1]
2026 年 7 月 5 日星期日 22:11:18 UTC（1,093 KB）
[v2]
2026 年 10 月 9 日星期五 18:02:36 UTC（1,572 KB）
来源：arXiv cs.AI · arxiv.org