arXiv cs.AI· Charin Polpanumas·· 13 小时前AI 评分31
Vendster：评估预测工具质量如何影响 LLM 智能体在买卖谈判中行为的评测竞技场
Vendster: An Evaluation Arena to Investigate How Forecasting Tool Quality Affects LLM Agent Behaviors in Buyer-Vendor Negotiation
AI 导读
Vendster 是一个评测竞技场，用于测量预测工具的偏差与预测区间宽度如何改变两个 LLM 智能体之间的买卖折扣谈判结果。在基于 M5 数据集的 Vendster-M5 实例中，模型生成的预测使销售目标达成率最高提升 17 个百分点（p<0.001），但 relWQL、MASE 等标准预测指标无法显著预测谈判结果。
正文 · AI 翻译
摘要：时间序列预测器几乎完全按准确度指标排名，但预测的决策价值——即它对下游决策的影响——未必与准确度一致，且很少被测量。随着大语言模型（LLM）智能体越来越多地将预测器作为工具使用，并通过随机、不透明的策略对其进行中介，这一问题进一步加剧。我们提出 Vendster，一个评估竞技场，用于测量预测器的偏差和预测区间宽度如何改变两个 LLM 智能体之间买方—供应商折扣谈判的结果。在参考实例 Vendster-M5 中，我们从 M5 数据集采样基础需求模式，评估了两个前沿闭源 LLM 系列（Claude Opus 4.6 和 GPT-5.6 Sol）以及两个开源系列（DeepSeek-V3.2 和 Qwen3-235B-A22B）。模型生成的预测将销售目标达成率最多提高 +17 个百分点（p<0.001），但 relWQL 和 MASE 等标准预测评估指标在统计显著水平上无法预测谈判结果。为分离因果结构，我们替换为具有受控偏差和区间宽度的合成预测。低估偏差显著改善了那些对预测反应更强的智能体的结果——剂量反应斜率为 -0.387 和 -0.416（p<0.001）。在零偏差下，区间宽度没有统计显著效应。这些发现表明，预测偏差的方向和智能体对预测的反应性与下游结果的关联比预测准确度更强。Vendster 完全可定制，并以 CC BY-NC 4.0 许可发布在 此 https URL。
| 学科： | 计算机科学与博弈论（cs.GT）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.38292 [cs.GT] |
| （或 arXiv:2610.38292v1 [cs.GT] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.38292 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Charin Polpanumas [查看电子邮件]
[v1]
2026年10月28日星期三 05:23:48 UTC（257 KB）
来源：arXiv cs.AI · arxiv.org