arXiv cs.AI· Sai Shruthi Sistla, Ashutosh Hathidara, Christopher Toukmaji, Mayank Shrivastava, Karthikeyan Asokkumar·· 10 小时前AI 评分31
TRACE：面向企业 LLM 的业务规则驱动推理课程，实现知识保留的参数化工具检索
TRACE: Business Rule-Grounded Reasoning Curriculum for Knowledge-Preserving Parametric Tool Retrieval in Enterprise LLMs
AI 导读
TRACE 提出两阶段课程训练，解决参数化工具检索在训练中破坏工具知识、beam search 解码过慢的问题。
正文 · AI 翻译
摘要：参数化检索使 LLM 能够通过为每个 API 分配一个唯一的虚拟 token，并训练模型通过受限束搜索生成该 token，从而隐式地检索工具。Toolsense 表明，这种范式存在两个关键缺陷：它在训练过程中破坏了参数化工具知识，并且其束搜索解码对于实时部署来说太慢。我们提出了 TRACE（通过增强思维链和企业规则进行工具检索），这是一个两阶段课程，解决了这种分离问题。阶段 1 复用 ToolSense 中的多格式记忆 SFT，通过 LoRA 为工具知识播种。阶段 2 是我们的核心贡献：模型被训练为在生成工具 token 的 JSON 列表之前输出思考轨迹，使用两个数据源——来自 ToolSense 的 RRB 对，以及针对领域专家策划的业务规则合成的查询——两者都增强了推理轨迹。这一训练目标在保持阶段 1 MCQ 和 QA 探测准确率的同时，实现了生产延迟下的单束贪心解码。在跨两条企业产品线的 8,300+ 工具组合企业目录上评估，阶段 2 的 TRACE 训练不仅保持而且提升了工具理解：MCQ 准确率比阶段 1 提升 +3.2 个百分点，QA 探测提升 +9 个百分点。在检索方面，TRACE 在领域 A 上达到约 86% 的召回率，在领域 B 上达到约 60%——相比之下，嵌入基线的性能约为 27% 和 52%——两者均采用单束贪心解码，使其可直接以生产延迟部署。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2607.22639 [cs.AI] |
| （或此版本的 arXiv:2607.22639v2 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2607.22639 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Ashutosh Hathidara [查看电子邮件]
[v1]
2026 年 6 月 22 日星期一 23:15:35 UTC（458 KB）
[v2]
2026 年 11 月 10 日星期二 15:45:44 UTC（467 KB）
来源：arXiv cs.AI · arxiv.org