arXiv cs.AI· Shan Peng, Shuaiqi Cheng, Miao Peng, Chenyi Zi, Jia Li·· 11 小时前AI 评分42
DMAIC-Bench：面向多阶段分析任务中智能体的自我反思与自我约束评测基准
DMAIC-Bench: From Self-Reflection to Self-Restraint for Agents in Multi-Stage Analytical Tasks
AI 导读
DMAIC-Bench 用 97 个种子任务、覆盖 4 个行业 15 个工业案例，评测 LLM 智能体在多阶段分析中能否依据中间证据决定继续、改道或停止。13 个来自 6 家提供商的模型在匹配 GO 决策上的执行级路由准确率平均为 92%，但在 NO-GO 决策上仅 19%。
正文 · AI 翻译
摘要：多阶段分析任务要求 LLM 智能体利用中间证据来决定是继续、改变方向还是停止。自我反思，即智能体对自身输出进行批判，已被广泛研究，但批判并不能表明证据是否改变了下一步行动。我们将这种能力称为自我约束。现有的智能体基准测试主要衡量任务完成情况或输出质量，而未对此进行检验。DMAIC-Bench 通过 15 个工业案例、4 个行业领域的 97 个种子任务对其进行评估，这些任务围绕精益六西格玛明确的统计前提条件构建。配对的反事实变体要求在同一工作流位置采取相反的行动，从而区分有正当理由的克制与不加区分的停止。我们使用私有评分器评估执行轨迹，并通过独立专家评审评估最终结论。在来自 6 家提供商的 13 个模型中，执行层面的路由准确率在匹配的 GO 决策上平均为 92%，在 NO-GO 决策上平均为 19%，任何被禁止的下游计算都计为路由错误。执行轨迹显示，智能体在执行那些结果所不允许的分析之前，报告了正确的诊断。另外，对 11 个受审计智能体的盲审专家评审估计，在已到达的 NO-GO 决策中，有 47% 的报告依据无效证据采取行动，区间为 31% 至 61%。明确允许停止对某些模型有帮助，但并未在 GO 和 NO-GO 分叉处一致地恢复正确决策。批量核糖核酸测序（RNA-seq）和病例对照全基因组关联研究（GWAS）中的 16 个生命科学任务表明，同一框架可以评估工业工作流之外的依赖证据的决策。项目代码和数据可在以下网址获取：this https URL。
| 评论： | 54 页，14 张图。代码和数据：this https URL |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.32305 [cs.AI] |
| （或 arXiv:2610.32305v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.32305 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Shan Peng [查看电子邮件]
[v1]
2026 年 10 月 23 日星期五 08:04:10 UTC（1,397 KB）
来源：arXiv cs.AI · arxiv.org