arXiv cs.AI· Howard Zhang, Chuck Arvin, Logan Brown, Mihir Bhatia, Neelu Choudhary, Lily Miao·· 10 小时前AI 评分39
企业分析智能体的评估框架对比研究：稳定性、检测与发现
Comparative Analysis of Agent Evaluation Frameworks: Stability, Detection, and Discovery in Enterprise Analytics Agents
AI 导读
一项三阶段对比研究比较了基于执行轨迹的 LLM 评判、纯文本 LLM 评判加红队测试、确定性启发式三种评估框架，在冻结执行轨迹上评测两个分析智能体。97% 的配置达到稳定性阈值，基于轨迹的框架在 72 个真实测试用例上取得最佳精确率-召回率平衡（F1=0.90），纯文本评估召回率相当但误报多 5 倍。
正文 · AI 翻译
摘要：在企业环境中部署基于 LLM 的分析智能体，需要能够可靠检测复杂多工具工作流中故障的评估框架。我们提出了一项三阶段对比研究，比较三种评估框架，每种框架代表一种不同的评估范式（基于轨迹的 LLM 评判、带红队测试的纯文本 LLM 评判，以及确定性启发式方法），并在受控研究环境中使用冻结的执行轨迹将其应用于两个分析智能体。第一阶段通过重复测量量化评估框架的稳定性，发现 97% 的配置达到稳定性阈值，且稳定性模式与智能体无关。第二阶段在 72 个真实基准测试用例上衡量已知风险检测能力，其中基于轨迹的框架实现了最佳的精确率-召回率平衡（F1=0.90），而纯文本评估在召回率上与之相当，但产生的误报多 5 倍。第三阶段评估未知风险发现能力，发现了 24 个新故障，且功能测试与安全红队测试之间零重叠。我们的结果表明：(1) 评估框架可获取的信息决定了评估质量，(2) 功能评估与安全评估是互补的，(3) 基于 LLM 的评估框架能够发现人类审查者遗漏的细微错误。我们建议采用双框架策略：基于轨迹的评估用于功能评估，对抗性红队测试用于安全验证。
| 评论： | 已被 KDD 2026（韩国济州）接收。9 页，3 幅图 |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL）；机器学习（cs.LG）；软件工程（cs.SE） |
| 引用为： | arXiv:2611.14493 [cs.AI] |
| （或 arXiv:2611.14493v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.14493 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Howard Zhang [查看邮件]
[v1]
2026 年 11 月 10 日星期二 18:50:06 UTC（283 KB）
来源：arXiv cs.AI · arxiv.org