跳到正文
arXiv cs.AI· Hans Schabert, Christoph Peters·· 10 天前AI 评分42

一次一步:用 MCP 逐步下发流程,换取 LLM 智能体的过程可预测性

One Step at a Time: Trading LLM Autonomy for Process Predictability

AI 导读

研究提出通过 Model Context Protocol(MCP)逐步下发流程:服务器一次释放一个步骤,智能体执行后返回结构化 step_output,从而在执行前就确定执行路径,并形成可审计的机器可读执行日志。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:将运营流程自动化的组织需要的不仅仅是一个正确的结果:他们需要预测流程将如何运行、知道实际运行的是哪一个流程,并逐步检查它。当智能体作为执行者时,这种可预测性通常会丧失:规定的流程进入系统提示,而返回的只有一个最终答案。我们改为通过模型上下文协议(MCP)逐步下发流程:服务器一次发布一个步骤,智能体执行该步骤,每个步骤返回一个结构化的 step_output。这以自主性换取可预测性,由此在构造上自然产生两个属性,且与执行者无关。执行路径在运行前就已规定,因此流程是事先可预测的,而不是事后重建的;并且已完成的步骤记录构成机器可读的执行日志,下游工具可以逐步审计和优化。我们在 13 个 SOP-Bench 领域和四个开放权重执行者(从前沿的 Kimi K2.5 到轻量级的 Ministral 3 8B)上评估了 15,475 次试验,发现步骤级下发使每个执行者的已执行流程都可预测、可检查,并且在执行者较小时还能提高准确率。在所有四个执行者中,流程遵循度显著上升(76-95% 至 95-99%),无依据答案(未执行 SOP 却产生正确输出)几乎消失,从试验的 2.1-4.5% 降至 0.2-0.3%(所有 95% 置信区间均不包含零);在基于提示的下发方式下,know_your_business 上 31-49% 的正确答案完全绕过了 SOP,即使对于前沿执行者也是如此。准确率正是执行者能力发挥作用之处:轻量级执行者获得了 +6.5pp 的有依据准确率提升,因为从外部提供流程消除了它无法承担的重建负担,而能力较强的执行者则以小幅原始准确率下降换取可预测、可审计的流程。
评论: 14 页,12 张表
主题: 计算与语言(cs.CL);人工智能(cs.AI)
ACM 分类: I.2.7; I.2.8; H.4.1
引用为: arXiv:2610.07817 [cs.CL]
  (或 arXiv:2610.07817v1 [cs.CL] 用于此版本)
  https://doi.org/10.48550/arXiv.2610.07817

由 DataCite 颁发 arXiv DOI(待注册)

提交历史

来自:Hans Schabert [查看电子邮件]
[v1] 2026 年 10 月 6 日星期二 06:10:42 UTC(42 KB)

来源:arXiv cs.AI · arxiv.org