arXiv cs.MA· Chen Huang, Yiyang Zhang, Yuhao Wu, Yang Deng, Wenxuan Zhang·· 3 天前AI 评分31
UnCoBench：当 LLM 多智能体协作遇上不可靠同事
Beyond Perfect Teammates: Multi-Agent Collaboration with Unreliable Colleagues
AI 导读
研究团队提出 Unreliable Colleagues Benchmark（UnCoBench），用 Misaligned、Incomplete、Missed 三类设定刻画协作中信息错位、细节不足与不响应等行为失败，要求主智能体验证上下文正确性、诊断信息缺口并追踪未解决依赖。
正文 · AI 翻译
摘要：基于 LLM 的多智能体协作越来越多地被用于通过将工作分配给专门化的智能体并整合互补的专业知识来解决复杂任务。然而，现有系统和评估在很大程度上依赖于一种隐含的完美同事假设：协作者提供正确且完整的信息，并及时响应请求。但在现实的团队协作中，协作者可能返回无法回答预期问题的信息、提供不足以支持决策的细节，或未能响应请求。为了将任务解决能力与恢复不可靠证据收集过程的能力区分开来，我们引入了不可靠同事基准（UnCoBench），它通过错位、不完整和缺失三种设置来组织行为失败。主智能体需要验证上下文正确性、诊断信息缺口并跟踪未解决的依赖关系，以获得解决任务的正确证据。我们还引入了一个可验证且可扩展的自动生成流水线，它将基于 LLM 的场景生成与对答案唯一性和角色必要性的可执行检查配对。十个模型的结果表明，相似的可靠设置性能可能导致对不可靠证据的不同鲁棒性。轨迹分析揭示了纠正性后续行动的频繁遗漏，且恢复行为涉及低效等待和冗余查询。这些发现表明，鲁棒的协作不仅需要合理的推理，还需要有针对性的行动来诊断证据失败、恢复相关信息并将其整合到决策中。我们的数据和源代码可在 此 https URL 获取。
| 评论： | 24 页，8 张图，8 张表 |
| 主题： | 人工智能（cs.AI）；多智能体系统（cs.MA） |
| 引用为： | arXiv:2610.16117 [cs.AI] |
| （或 arXiv:2610.16117v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.16117 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Chen Huang [查看电子邮件]
[v1]
2026 年 10 月 12 日星期一 03:31:54 UTC（3,247 KB）
[v2]
2026 年 10 月 14 日星期三 06:05:41 UTC（3,249 KB）
来源：arXiv cs.MA · arxiv.org