跳到正文
RadarAI· X:Rohan Paul (@rohanpaul_ai)·· 3 小时前AI 评分58

Princeton 与 Google 论文提出 JevAgentHarness,用 4B 决策模型分担 LLM 智能体例行决策

AI 导读

Princeton 与 Google 等机构的论文提出 JevAgentHarness,让小型决策模型回答智能体中的多选例行决策,仅在置信度低于阈值时交给 LLM。

正文 · AI 翻译

Rohan Paul· @rohanpaul_ai · X·2026-10-19 17:04· 1 小时前AI 评分58

AI 导读

Princeton 与 Google 等机构的论文提出 JevAgentHarness,用小型决策模型回答智能体中的多选例行决策,仅在置信度低于阈值时交给 LLM。

正文 · 原文

Princeton Univ 与 Google 的新论文发现,在孤立问题上最准确的决策模型仅解决了 69.5% 的智能体任务,而在智能体状态上训练的 4B 模型解决了 91.5%。

智能体框架在每一步都调用大型 LLM,这使得长任务缓慢且成本高昂。然而这些调用大多只是从列表中选择,比如下一步使用哪个工具。

他们的框架对每个多选题询问一个快速决策模型,仅当其答案高于在智能体自身运行上拟合的置信度阈值时才采用。他们还基于智能体实际到达的状态(包括其自身犯错之后的状态)训练了 AgentDecision-4B。

在类似其训练数据的任务上,以这种方式训练的 4B 模型使智能体成本降低 81.1% 至 89.0%,速度最高提升 2.5 倍。成功率保持在 3 个百分点以内,而在不设阈值的情况下移交所有工具选择会使成功率下降 19.0 个百分点。

要将例行的智能体选择交给小型模型,需在你的智能体自身运行上训练它并设定其置信度阈值。

– arxiv. org/abs/2610.21412

标题:“JevAgentHarness: Benchmarking, Deploying and Training Decision Models That Share Control with LLMs”

来源:Rohan Paul · x.com

来源:RadarAI · aihot.news