arXiv cs.AI· Daksh Raghuvanshi, Ved Vedere, Yifan Wang·· 9 天前AI 评分44
StoreBench：用于评估与训练自主运营智能体的直播电商环境
StoreBench: A Live-Commerce Environment for Evaluating and Training Autonomous Operator Agents
AI 导读
研究团队推出 StoreBench，一个让智能体在电商后端运营中型服装店的直播电商环境，通过 29 个商家工具测试长程规划与不确定性下的经济判断。七个前沿 LLM 在 11 个场景中均未超过脚本化策略，表现最好的 DeepSeek-V4-Pro 通过 49% 的任务-种子组合，而启发式策略为 97%。
正文 · AI 翻译
摘要：强化学习环境如今是提升大语言模型（LLM）后训练能力的主要手段，但大多数智能体基准测试仍是静态的：世界仅在智能体行动时才会变化，奖励是终局性的判定，通过标准也是任意设定的。我们提出 StoreBench，一个直播电商环境，其中智能体在生产级电商后端上经营一家中型在线服装店，以此测试不确定条件下的长时程规划与经济判断能力。顾客全天候下单，供应商调价或违约，市场冲击在部分预警或无预警的情况下到来。智能体通过人类操作员会使用的同样 29 种商家工具进行操作，并受窗口化操作预算约束，使模拟时间成为所采取行动的函数，因此模型延迟无法影响模拟时间。通过阈值根据脚本化的锚定策略进行校准，奖励针对一系列奖励黑客手段进行了加固，且给定动作序列时每个回合都能完全一致地重放。我们在 11 个场景（30 至 45 天以及完整模拟一年）上，以匹配的推理努力程度、跨三个世界种子，评估了七个前沿 LLM。没有模型在平均表现上能匹敌脚本化的智能分诊策略：表现最好的 DeepSeek-V4-Pro 通过了 49% 的任务-种子单元，而启发式策略为 97%。使用相同工具和预算的人类专家得分高于所有模型（平均综合分 0.708 对 0.700）。在 Claude Code 框架下进行完整模拟一年，大多数模型表现出显著的性能提升。在一次 GRPO 后训练运行中，仅在五个不相交任务上训练的 Qwen3.5-27B 将其在留出评估任务上的平均综合分从 0.136 提升至 0.373。我们发布了五个示例训练集任务、十条样本轨迹以及评分和验证工具；完整环境和评估套件被保留，以保持基准测试不受污染。
| 评论： | 22 页，4 幅图，8 张表 |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.10942 [cs.AI] |
| （或此版本的 arXiv:2610.10942v1 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2610.10942 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yifan Wang [查看电子邮件]
[v1]
2026 年 10 月 7 日星期三 21:46:10 UTC（115 KB）
来源：arXiv cs.AI · arxiv.org