arXiv cs.AI· Yoonho Choi, Taehyeon Han, Seonghyeon Lee·· 4 小时前AI 评分31
JET:面向仓库级问答高效工具调用智能体的“恰到好处探索”微调方法
JET: Just-Enough Exploration Tuning for Efficient Tool-Calling Agents in Repository-Level Question Answering
AI 导读
针对 LLM 智能体在仓库级问答中信息已足够仍继续调用工具的“过度探索”问题,研究者提出微调方法 JET,在信息足够的步骤截断训练轨迹并插入解释性 rationale、对其施加更高损失权重。
正文 · AI 翻译
摘要:在仓库级问答(QA)中,智能体使用工具探索代码仓库,一旦收集到足够信息就应回答问题。然而,我们发现 LLM 智能体在已收集的信息足以回答时,往往仍会继续调用工具。我们将这一现象称为过度探索。此外,尽管现有方法通过对专家轨迹进行监督微调(SFT)提升了任务表现,但 SFT 也会将轨迹中的过度探索传播给智能体。为缓解过度探索,我们提出了 Just-Enough Exploration Tuning(JET),一种微调方法,训练智能体在收集到的信息足够时立即作答。JET 在每条训练轨迹中信息变得足够的步骤处将其截断,插入一段说明智能体为何能在该步骤作答的理由,并以更高的损失权重对该理由进行微调。在两个仓库级 QA 基准上使用两个开放权重 8B 模型进行的实验表明,JET 在自生成轨迹上将工具调用减少了 11% 至 33%,同时基本保持了得分。在专家轨迹上,JET 比 SFT 少调用 18% 至 28% 的工具,同时保留了 SFT 的大部分得分提升。在两种情况下,JET 还降低了推理成本。
| 评论: | 预印本。13 页,8 幅图,5 张表 |
| 主题: | 计算与语言(cs.CL);人工智能(cs.AI) |
| 引用为: | arXiv:2611.22539 [cs.CL] |
| (或 arXiv:2611.22539v1 [cs.CL] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.22539 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Yoonho Choi [查看邮箱]
[v1]
2026 年 11 月 17 日星期二 10:30:14 UTC(463 KB)
来源:arXiv cs.AI · arxiv.org