arXiv cs.AI· Vagner Figueredo de Santana, Diogo Cortiz·· 6 天前AI 评分27
面向 Agentic Web 技术栈的基线评估：MASTIF 框架与 300 项 Mind2Web 任务测试
A Baseline Assessment for the Agentic Web Technology Stack
AI 导读
研究者提出 MASTIF（Multi-Agent System TestIng Framework），对 3 个 LLM、3 种协议和 4 个智能体实现框架在 300 项 Mind2Web 基准任务上进行 Agentic Web 技术栈基线评估。结果显示，选择任务专属技术栈可提升任务完成率、效率分数和社会价值稳定性分数，并减少冗长度与任务完成时间。
正文 · AI 翻译
摘要：针对基于 LLM 的智能体，协议、框架和技术被提出的速度之快，使得任何想要创建最先进 AI 解决方案的人都面临复杂的局面。若不对不同协议、框架和库如何协同构成 Agentic Web 解决方案进行评估，开发者和组织甚至在成为 Agentic Web 生态系统的一部分之前就面临各种挑战（例如技能、治理、基础设施）。在此背景下，我们提出了一种用于执行 Agentic Web 评估的系统，称为 MASTIF（Multi-Agent System TestIng Framework），并针对 300 个 Mind2Web 基准任务，对 Agentic Web 技术进行了基线评估，包括 3 个 LLM、3 个协议和 4 个智能体实现框架。结果表明，选择特定任务的技术栈可能会带来任务完成率、效率得分和社会价值稳定性得分的提升，并减少冗长程度和完成任务的时间。借助所呈现的结果，我们期望为那些旨在设计、评估和开发多智能体系统的人们，在这个复杂且快速演变的场景中提供指标和结果方面的基线。
| 学科： | 人工智能（cs.AI）；新兴技术（cs.ET）；软件工程（cs.SE） |
| 引用为： | arXiv:2610.13703 [cs.AI] |
| （或 arXiv:2610.13703v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.13703 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Vagner Figueredo De Santana [查看电子邮件]
[v1]
2026年10月9日星期五 14:59:24 UTC（1,950 KB）
来源：arXiv cs.AI · arxiv.org