arXiv cs.AI· Saiful Khan, Afrah Farea·· 12 小时前AI 评分38
用业务流程知识图谱为 LLM 智能体提供依据:面向可靠多步服务调用的流程感知知识图谱
Grounding LLM Agents in Business Processes: Process-Aware Knowledge Graphs for Reliable Multi-Step Service Invocation
AI 导读
研究者将 OData 元数据与 BPMN 参考流程整合进带类型的属性图,用稠密嵌入加流程边检索候选端点,在 42 个企业服务上评估,低词汇重叠查询的 Recall@3 提升 5.7 个点(n=74)。在 81 条多步查询上,LLM 智能体任务完成率 38.7%,基于分块的基线为 10.3%。提供完整类型化上下文后,无效调用降至 3%(101 次运行中 3 次),且不再编造代码值。
正文 · AI 翻译
摘要:调用企业 API 的大语言模型(LLM)智能体必须选择正确的端点、遵循流程顺序、使用有效的载荷键,并从预定义列表中选择编码值。然而,当前的检索增强服务发现将各端点独立对待,因而忽略了流程和模式约束。我们通过将开放数据协议(OData)元数据和业务流程模型与符号(BPMN)参考流程集成到一个类型化属性图中来解决这一局限。混合检索器使用稠密嵌入识别候选端点,并沿流程边检索后续端点。我们在 42 个具有流程链真值的企业服务上评估了该方法。对于查询与下游实体之间词汇重叠度低的查询,它将 Recall@3 提高了 5.7 个百分点(n=74),且在不同嵌入模型和截断值下均有一致提升。它在其他查询上与稠密检索持平,并且在没有流程层的 OpenAPI 服务上没有提升,表明这些增益源于流程结构。我们还在 81 个多步查询上评估了一个 LLM 智能体。它完成了 38.7% 的任务,而基于分块的基线为 10.3%。在诱导探测中,提供有效代码列表消除了编造代码,但在 46% 的写入运行中仍留下无效键。完整的类型化上下文将无效调用降至 3%(101 次运行中的 3 次),且没有编造代码。这些结果表明,在检索期间暴露流程和模式约束可提高智能体驱动 API 调用的可靠性。
| 主题: | 人工智能(cs.AI);软件工程(cs.SE) |
| 引用为: | arXiv:2610.37242 [cs.AI] |
| (或 arXiv:2610.37242v1 [cs.AI] 为此版本) | |
| https://doi.org/10.48550/arXiv.2610.37242 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Saiful Khan Dr [查看电子邮件]
[v1]
2026 年 10 月 27 日星期二 13:45:29 UTC(111 KB)
来源:arXiv cs.AI · arxiv.org