arXiv cs.MA· Abbas Raza Ali, Muhammad Ajmal Siddiqui, Moona Zahid·· 23 小时前AI 评分34
受监管企业如何评估 Agentic AI 平台:一个九维能力框架与“先门控后打分”协议
A Capability Framework for Evaluating Agentic AI Platforms in Regulated Enterprises
AI 导读
一家全球银行创新实验室对 10 个 Agentic AI 平台开展“bakeoff”评测,覆盖开源框架、商业产品与超大规模云生态,由跨职能专家组在对手方信用风险、RAG 和流程自动化三类金融工作负载上按九个能力维度打分,结果稳定分为三个梯队。
正文 · AI 翻译
摘要:Agentic AI 平台——即 LLM 智能体在其中进行规划、调用工具、保留记忆并协同以改变企业系统状态的系统——其采购速度已超过对其进行衡量的速度。公开的智能体基准测试在固定测试框架中对模型评分;企业购买的是集成平台,其编排、记忆、治理和工具层主导着结果,而它们购买时很大程度上依赖供应商演示的说服力。我们报告了一项由一家全球性银行的创新实验室开展的工业评估项目(“bakeoff”),其中十个平台——涵盖开源框架、专有产品与超大规模云厂商生态——由跨职能评审小组在三个金融服务工作负载(交易对手信用风险、检索增强生成和流程自动化)的九个能力维度上进行了评估。评分将参评平台划分为三个层级,这些层级在替代权重下保持稳定,并揭示了聚合结果所掩盖的工作负载特定优势。然而,一项二次分析发现,在名义上不同的维度之间 Cronbach's alpha = 0.98,且九个维度中有八个与总分的秩相关 >= 0.93:这是一种光环效应,表明基于演示的评分所衡量的不仅是能力,还有呈现效果。基于这些经验教训,我们提出一种“先门控后评分”的评估协议,包含四个层次(能力、执行可靠性、治理门控、业务价值)、在重复运行中估计的轨迹级可靠性指标、一个自主性就绪度量表以及一个可复现性协议。我们准确陈述了当前证据所能支持的内容,以及受控测试框架必须补充什么,才能将企业平台评估从结构化判断转变为测量。
| 主题: | 人工智能(cs.AI);多智能体系统(cs.MA);机器学习(stat.ML) |
| 引用为: | arXiv:2611.24039 [cs.AI] |
| (或 arXiv:2611.24039v1 [cs.AI] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.24039 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Abbas Raza Ali [查看电子邮件]
[v1]
2026年11月18日星期三 08:28:02 UTC(221 KB)
来源:arXiv cs.MA · arxiv.org