arXiv cs.AI· Qiming Shi, Yikun Li, Beidi Luan, Rui Sun, Yan Ma, Jing Li, Daxin Jiang, Zuo Bai·· 13 小时前AI 评分39
AutoVend：LLM 智能体长周期自主售货运营基准测试
AutoVend: Benchmarking LLM Agents on Long-Horizon Autonomous Vending Operations
AI 导读
AutoVend 基准让单个 LLM 智能体通过网页运营界面管理 20 台自动售货机，覆盖五类场地，模拟运行 180 天。在五个受测 LLM 智能体中，有四个未能超过基于规则的库存控制基线；按每美元推理成本回报排名时，模型顺序与单看回报时不同。运营分析显示，库存与执行成本会侵蚀单项指标的增益，轨迹分析则暴露出智能体在落地可行动作、管理库存承诺和将反馈转化为有效策略修订上的困难。
正文 · AI 翻译
摘要：大语言模型（LLM）智能体正在将 Web 上由智能体介导的商业活动从为消费者购物扩展到为卖家经营业务。在线上到线下（O2O）商业中，决策通过基于 Web 的平台下达，但通过成本高昂的物理执行来实现。评估此类智能体需要超越单笔交易，追问线上做出的决策能否转化为持续的经济回报。我们推出 AutoVend，这是一个基准测试，其中一个 LLM 智能体通过基于 Web 的运营界面，在 180 个模拟日内管理分布于五类场所的 20 台自动售货机。其基于数据的模拟器结合了共享仓库、采购提前期、付费补货、库存过期和经常性运营成本。我们将五个 LLM 智能体与基于规则的库存控制基线进行对比评估，并诊断它们的场所协调、执行和随时间推移的表现。五个受评估的 LLM 智能体中有四个未达到该基线，且每美元推理成本的回报对模型的排名与仅看回报时不同。运营分析表明，单项指标的提升并不总能带来更强的经济增长，因为库存和执行成本会侵蚀这些收益。轨迹分析进一步揭示了在落实可行行动、管理库存承诺以及将反馈转化为有效策略修订方面的困难。
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.36980 [cs.AI] |
| （或本版本的 arXiv:2610.36980v1 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2610.36980 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Zuo Bai [查看邮箱]
[v1]
2026年10月27日星期二 10:33:06 UTC（596 KB）
来源：arXiv cs.AI · arxiv.org