arXiv cs.MA· Yuxiang Lai, Jike Zhong, Chengzhi Liu, Ming Li, Haonan Wang, Xiaofeng Yang, Liang Zhao, Youbao Tang, Ruixi Fan·· 3 天前AI 评分38
CLASHarness：用可控可验证生成管线评测计算机使用中的多智能体冲突
CLASHarness: Benchmarking Multi-Agent Conflict in Computer Use via a Controllable and Verifiable Generation Pipeline
AI 导读
研究者推出 CLASHarness（Conflict-Loaded Agent Scenario Harness），一个可控生成计算机使用场景中可验证多智能体冲突的框架，并附带 600 个多轮任务基准。
正文 · AI 翻译
摘要：视觉语言模型（VLM）越来越多地部署在多智能体系统中，以自动化复杂的计算机使用工作流，然而现有基准大多假设环境是一致且协作的。相比之下，现实世界中的协作很少建立在一致的信息之上：同级或下级智能体经常报告过时状态、发出相互矛盾的指令，或争夺共享权限和文件，迫使智能体检查他人的输出并在环境中核实真实情况。评估此类冲突解决仍然具有挑战性：人工编写无法在复杂系统中规模化，而无约束的 LLM 生成会产生叙事漂移、答案泄露和无法满足的评分标准。我们提出 CLASHarness（冲突加载智能体场景测试框架），这是一个可控框架，用于在计算机使用中生成可验证的多智能体冲突，并附带一个包含 600 个多轮任务的基准。通过将分层场景规划与八步验证微流水线相结合，CLASHarness 在渲染前预先确定决定性的视觉事实，并直接从已执行的参考轨迹编译混合代码与语义评分器，从而保证每个任务在构造上都是可解的。在 CLASHarness 上评估 15 个前沿模型揭示了三个核心瓶颈。第一，当子智能体输出与环境冲突时，较弱的模型会盲目遵循误导性信息，而较强的模型会检查视觉证据以核实真实情况。第二，解决冲突远比发现冲突困难：虽然智能体能够发现不一致之处，但主动修复系统状态会显著降低任务成功率。第三，协调协议仍然是普遍瓶颈：即使是前沿模型，在收尾动作上的失败率也超过 58%，常常忘记释放共享锁或交接任务。CLASHarness 为构建可靠的多智能体系统提供了可扩展、可验证的基础。
| 主题： | 多智能体系统（cs.MA） |
| 引用为： | arXiv:2610.19128 [cs.MA] |
| （或 arXiv:2610.19128v1 [cs.MA] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.19128 arXiv 颁发的 DOI，经由 DataCite（待注册） |
提交历史
来自：Yuxiang Lai [查看电子邮件]
[v1]
2026年10月13日星期二 20:01:18 UTC（6,538 KB）
来源：arXiv cs.MA · arxiv.org