arXiv cs.MA· Will Beaumaster, Paul Schrater·· 3 天前AI 评分29
多智能体团队中准确率为何无法认证心智理论：Smart Alone, Blind Together
Smart Alone, Blind Together: Why Accuracy Fails to CertifyTheory of Mind in Multi-Agent Teams
AI 导读
论文指出，用推断准确率来认证多智能体协调模块是错误的，因为所需准确率取决于部署场景的错误代价，且模块间错误存在相关性。在任务分配、Level-Based Foraging 和 Hanabi 测试中，准确率双向失效：在 Hanabi 中批准了有害的 LLM 部署，在任务分配中拒绝了有益的部署。
正文 · AI 翻译
摘要：那些依据对队友的推断而行动的协调者，通常以这些推断的准确性作为认证依据。我们认为准确性是错误的认证标准，原因有二。第一，行动所需的准确性取决于错误行动的代价，因此标准属于部署环境，而非模块本身。第二，模块的错误很少相互独立，而依赖关系是有方向的：正相关的错误在其损害重叠之处有益，在其损害叠加之处有害，因此准确性阈值会朝可预测的方向失效；而一旦错误信念相互作用并可能造成危害，就不存在适用于所有模块的基于准确性的规则。我们在任务分配、Level-Based Foraging 和 Hanabi 中检验了这些预测，使用了注入错误、训练模块与贝叶斯模块以及五个语言模型，并进行了人类判断实验。准确性在两个方向上都会失效：在 Hanabi 中批准了有害的语言模型部署，因为共享错误会叠加；在任务分配中拒绝了有益的部署，因为高代价错误很少见。在我们的任务中，它带来的冗余也远低于独立性所预测的水平：从 GPT-5.4-mini 到 Claude Opus 5.5，模型对其有证据的队友的错误率从 32% 降至 11%，但三个观察者同时误读同一个人的概率仅从 16% 降至 9%（独立性预测：3.4% 降至 0.15%）。我们提出对部署环境进行认证，采用一个盲点门控（Blind-Spot Gate），在不部署模块的情况下评估错误代价、成对交互和实测依赖关系。在其开发所用单元留出的数据上，它在 20 次划分中均未产生显著误批准（准确性：每次划分 3.2 次）；在未用于开发的模块上进行的预注册测试中，它找回了准确性所拒绝的（七个分类器：遗憾值 0.004 对 0.479），并捕获了准确性所批准的（一个贝叶斯模块：准确性在 20 次划分中有 17 次显著误批准，门控仅 1 次）。
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL）；机器学习（cs.LG）；多智能体系统（cs.MA） |
| 引用为： | arXiv:2610.19051 [cs.AI] |
| （或本版本的 arXiv:2610.19051v1 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2610.19051 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
发件人：William Beaumaster [查看电子邮件]
[v1]
2026年10月13日星期二 18:50:10 UTC（2,392 KB）
来源：arXiv cs.MA · arxiv.org