arXiv cs.MA· Avyay M. Casheekar, Hariganesh Tangirala·· 10 天前AI 评分22
多智能体博弈中如何学习报告不安全任务
Learning to Report Unsafe Tasks in a Multi-Agent Game
AI 导读
研究提出一种多智能体博弈，任何目击者均可通过报告来中止任务，并给出审计条件使精确策略梯度更新收敛至全员报告。在24个目击者图上训练PPO策略，将共同目击者分离后，不安全任务完成率比同规模打乱分组降低33.59个百分点（95%图自助区间21.03-45.13）。48次目击者组运行中仅9次在保持至少90%合法完成率的同时将不安全完成率降至1%以下。
正文 · AI 翻译
摘要：当智能体共享完成任务所获得的奖励时，报告不安全的工作会因中止任务而减少报告者的奖励。审计可以使报告变得最优，但无法确保进一步的训练能教会一个沉默的团队去报告。我们在一个博弈中研究这一学习问题，其中任何目击者都可以通过报告来中止任务。当每个任务有 $k$ 个目击者共享同一策略并独立抽取时，在全体沉默的情况下，关于其共享沉默概率的期望奖励导数会将每个任务的收益计算 $k$ 次。而与全体报告相比，该收益只被计算一次。对于任意策略组，我们给出了一个审计条件，该条件足以使精确策略梯度更新达到全体报告，并且除边界情况外，在接近全体沉默时也是必要的。在一个平衡族中，满足该条件且具有规定正边际的最便宜审计，对于完全共享的成本恰好是每个角色一个策略的 $k$ 倍。我们在从学习到的沉默中得到的 24 个目击者图上训练 PPO 策略。与在相同审计下相同规模的打乱分组相比，将共同目击者分开可使不安全完成率降低 33.59 个百分点（95% 图自助法区间：21.03-45.13）。在 48 次目击者组运行中，只有 9 次在保持至少 90% 合法完成率的同时将不安全完成率降至 1% 以下。在相同审计预算下，一个完全共享的网络在独立动作抽取的 48 次运行中均未达到这两个阈值，而在共同抽取的 48 次运行中全部达到。
| 主题： | 人工智能（cs.AI）；多智能体系统（cs.MA） |
| 引用为： | arXiv:2610.09002 [cs.AI] |
| （或 arXiv:2610.09002v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.09002 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
发件人：Avyay Casheekar M [查看电子邮件]
[v1]
2026年10月6日星期二 18:57:07 UTC（2,676 KB）
来源：arXiv cs.MA · arxiv.org