Thinkingbox 发布：面向有状态业务流程智能体的沙盒与基准

作者：Zhuochun Li、Youngmin Ko、Ali Keramati、Tuhin Kundu、Liang-Chun Tsai、Nicola Ferri、Mirco Milletari、Jiaxiang Liu、Susana Palmaz Lopez Pelaez、Yuepeng Wang、Vadim Smolyakov、Xiang Jiang、Kjartan Olafsson、Tommy Guy

查看 PDF HTML（实验性）

摘要：近期的智能体基准测试越来越多地将评估建立在可执行环境中，涵盖代码修复、网页导航、应用 API 和函数调用。然而，要完成代码之外的重要工作，仅生成看似合理的回复或有效的工具调用是不够的：智能体必须在多轮交互中收集缺失信息、遵循领域策略、协调相互依赖的工具，并在不产生附带影响的情况下实现正确的持久状态转换。本文提出 Thinkingbox，这是一个用于工具—智能体—用户交互的沙箱，提供隔离的 MCP 兼容工具会话、完整的执行轨迹，以及基于终端后端状态的结果评估。基于该沙箱，Thinkingbox-bench 包含 507 个跨业务场景的策略约束工作流，涵盖零售、酒店、汽车保险、数字银行内部 IT 以及咨询 IT/HR 支持。每次尝试都由任务特定的可执行检查进行评估，这些检查接受有效的轨迹，同时拒绝错误、缺失或多余的影响；指定任务还会额外检查最终回复的必要属性。我们的实验表明，即使是最强的专有模型和开放权重模型，可靠性也会急剧下降：Claude Opus 5 从 66.50% 的 pass@1 降至 47.53% 的 pass^20，Kimi-K3 从 57.37% 的 pass@1 降至 17.60% 的 pass^20。此外，许多失败的试验在有效的状态变更操作后干净地终止，因此回复层面或工具调用层面的信号很难代理端到端的完成情况。Thinkingbox-bench 揭示了偶尔找到成功轨迹与可靠完成有状态业务任务之间的巨大差距。我们发布了 Thinkingbox、Thinkingbox-Bench 以及 Thinkingbox 集成的强化学习框架。

主题：	计算与语言（cs.CL）；数据库（cs.DB）
引用为：	arXiv:2608.19741 [cs.CL]
	（或使用 arXiv:2608.19741v5 [cs.CL] 查看此版本）
	https://doi.org/10.48550/arXiv.2608.19741 由 DataCite 颁发的 arXiv DOI

提交历史

来自：Zhuochun Li [查看邮箱]
[v1] 2026年8月20日星期四 07:37:57 UTC（2,548 KB）
[v2] 2026年8月29日星期六 00:45:56 UTC（5,511 KB）
[v3] 2026年9月30日星期三 00:33:55 UTC（3,355 KB）
[v4] 2026年10月1日星期四 16:14:54 UTC（3,355 KB）
[v5] 2026年10月31日星期六 00:08:26 UTC（3,354 KB）