跳到正文
arXiv cs.AI· Chanwoo Park, Jaywoong Jeong, Zachary Wojtowicz, Yubin Kim, Taekyun Lee, Kaiqing Zhang, Asuman Ozdaglar·· 12 小时前AI 评分58

TeamGym:面向分布式信息下 AI 智能体团队决策的训练与评测环境

TeamGym: A Gym for Team Decision-Making by AI Agents with Distributed Information

AI 导读

TeamGym 是一个用于评测和训练语言模型智能体团队决策能力的环境,任务基于法律、金融、医疗和软件工程等真实语料构建。它提出识别“关键信息”的方法,即每个要素都必要且整体足以支撑正确决策的最小事实集合,从而控制关键信息的分发方式并追踪智能体识别与整合这些信息的效果。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:许多现实世界的决策需要团队整合分布在各个参与者身上的信息。然而,AI 智能体仍然主要是在孤立环境中进行训练和基准测试的。我们推出 TeamGym,这是一个用于评估和训练基于语言模型的智能体解决团队决策问题的环境,其中的问题基于现实世界的法律、金融、医疗和软件工程语料库构建。TeamGym 引入了一种方法,用于识别一组最小的事实集合,其中每个元素都是必要的,而所有元素合在一起足以做出正确的最终决策,我们称之为关键信息。这使得 TeamGym 既能控制关键信息的分布,又能追踪智能体在做出团队决策时识别和整合关键信息的效果。在 12 个源语料库上考察 8 个语言模型后,我们发现当前的 AI 智能体往往无法有效地共享信息:与将相同信息提供给单个模型相比,将关键信息分散到各个参与者会使成功率平均降低 22.9 个百分点(沟通差距)。我们还记录到,参与者无法自行有效地检索与决策相关的信息:当参与者必须从源材料中识别并提取关键信息,而不是直接获得这些信息时,团队的成功率会进一步降低 19.9 个百分点(检索差距)。为帮助弥补这些不足,我们使用 TeamGym 通过基于团队决策损失的强化学习来训练策略。在两个策略训练实验中,我们发现训练提高了最终决策的质量,并在参与、发言者选择和沟通方面引发了涌现式协调,尽管奖励仅评估最终决策。
主题: 人工智能(cs.AI)
引用为: arXiv:2610.37571 [cs.AI]
  (或 arXiv:2610.37571v1 [cs.AI] 用于此版本)
  https://doi.org/10.48550/arXiv.2610.37571

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Chanwoo Park [查看电子邮件]
[v1] 2026年10月27日星期二 17:15:54 UTC(2,161 KB)

来源:arXiv cs.AI · arxiv.org