arXiv cs.AI· Kunlun Zhu, Tao Feng, Xu Han, Heng Wang, Ling Yang, Xiangru Tang, Jiaxuan You, Heng Ji·· 2 天前AI 评分60
JevAgentHarness：让决策模型与 LLM 共享控制权的基准、部署与训练
JevAgentHarness: Benchmarking, Deploying and Training Decision Models That Share Control with LLMs
AI 导读
论文提出 JevAgentHarness，把智能体每一步的工具选择等决策委托给决策模型，仅在置信度低于阈值时交由 LLM 决定。作者构建 AgentDecisionBench，覆盖从孤立问题到控制运行中智能体的测试；孤立问题上最准的决策模型仅解决 69.5% 的智能体任务，未拟合置信度阈值时委托工具选择会使成功率下降 19.0 个百分点。
正文 · AI 翻译
摘要：大语言模型（LLM）智能体如今能修复软件、操作计算机并服务客户，但它们的运行框架——即运行它们的程序——在每一步都要调用一次大型 LLM，这使得长任务既慢又昂贵。这些调用大多以多项选择决策告终，例如下一步调用哪个工具。诸如 Jev 之类的决策模型能直接回答这些问题，耗时和成本仅为一次 LLM 调用的一小部分。我们研究运行框架如何将这些决策委托给决策模型，同时几乎不损失成功率。为了在智能体任务中评估决策模型，我们构建了 AgentDecisionBench，它在公开基准和我们自有的 DecisionGym 环境中，从孤立问题一直到控制运行中的智能体对决策模型进行测试。在孤立问题上最准确的决策模型仅解决了 69.5% 的智能体任务，而在没有拟合置信度阈值的情况下，委托工具选择使成功率下降了 19.0 个百分点。基于这些发现，我们随后设计了 JevAgentHarness，它针对智能体自身轨迹上的每个选择拟合该阈值，并让 LLM 在低于该阈值时进行决策。由于现有决策模型从未见过智能体在自身犯错后所到达的状态，我们训练了 AgentDecision-4B，一个开放的 4B 模型，以 Jev 的答案作为标签，在此类状态上进行训练。在与训练数据不同的任务上，使用 AgentDecision-4B 的智能体解决了其中 91.5% 的任务，使用 Jev 的则解决了 82.0%。在与训练数据相似的任务上，以这种方式训练的 4B 模型使智能体成本降低 81.1-89.0%，速度最高提升 2.5 倍，且任务成功率未损失 3 个百分点或更多。模型、数据和运行框架将在 此 https URL 发布。
| 评论： | 代码：此 https URL |
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.21412 [cs.AI] |
| （或 arXiv:2610.21412v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.21412 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Kunlun Zhu [查看电子邮件]
[v1]
2026年10月15日星期四 07:27:08 UTC（384 KB）
来源：arXiv cs.AI · arxiv.org