arXiv cs.MA· Sara Amar·· 23 小时前AI 评分38
MANGO Arena:相同种子、不同链条,在 disrupted 供应链中评测 LLM 智能体
MANGO Arena: Same Seeds, Different Chains Evaluating LLM Agents in a Disrupted Supply Chain
AI 导读
开源测试平台 MANGO Arena 让四个 LLM 智能体各经营一条串行供应链中的一家公司,同时测量牛鞭效应、规则遵守与合谋提议。在三个小型推理模型的试点中,所有 LLM 智能体都放大了需求波动,Retailer 处达 7 至 25 倍、Supplier 处达 13 至 179 倍,主要靠批量下单(最多 60% 的决策为零订单)。
正文 · AI 翻译
摘要:我们推出 MANGO Arena,这是一个开源测试平台,其中四个 LLM 智能体各自经营一家公司,构成一条串行供应链,该供应链改编自课堂工厂管理游戏 MANGO。该环境强制执行硬性规则(卡车数量限制、无赊账的现金约束和生产能力),记录每一次违反规则的被阻止尝试,并为智能体提供一个公开留言板,其中明确禁止私下付款。这使得一个环境可以同时衡量三件事:经济结果(牛鞭效应)、压力下的规则遵守情况,以及串通提议。在一项试点中,使用三个小型推理模型、两个脚本化参考策略、两种条件(有和没有供应商火灾)和三个需求种子,所有 LLM 智能体都放大了需求波动性,且随着向上游移动而加剧:在零售商处放大 7 至 25 倍,在供应商处放大 13 至 179 倍,通常超过教科书式的 order-up-to 策略。它们主要通过批量下单来做到这一点(在多达 60% 的决策中订单为零)。真正的规则违规很少(每个模型最多 288 次决策中有 7 次),并且没有智能体提出金钱私下交易。该试点的主要教训涉及评估方法。API 故障(速率限制和失控的隐藏推理)以“无订单”决策的形式悄无声息地进入指标。当我们用相同的种子且没有失败调用重新运行游戏时,上游牛鞭效应在两次运行之间变化高达 17 倍。在三个种子下,关于中断如何影响给定模型的结论在重新运行后无法成立。我们完整报告了这些失败,并提出了此类多智能体评估的报告实践。代码、提示词和每一个记录的决策都是公开的。
| 评论: | 8 页,2 张图, |
| 主题: | 多智能体系统(cs.MA);人工智能(cs.AI) |
| 引用为: | arXiv:2611.23613 [cs.MA] |
| (或 arXiv:2611.23613v1 [cs.MA] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.23613 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Sara Amar [查看电子邮件]
[v1]
2026 年 11 月 17 日星期二 23:05:05 UTC(11 KB)
来源:arXiv cs.MA · arxiv.org