arXiv cs.CL· P N Bhargav Teja, Velpula Lokesh Reddy, Madhu Basumata, Susen Sarkar, Rajasekhara Reddy Duvvuru Muni·· 6 天前AI 评分20
SmartSalesBench：面向 LLM 销售智能体的抗压多轮对话基准
SmartSalesBench: A Resistance-Aware Multi-Turn Benchmark for Evaluating LLM Sales Agents
AI 导读
SmartSalesBench 是首个针对 LLM 销售智能体的多轮对话基准，让智能体面对具有心理依据、会抵抗和质疑的买家角色，对话最长 20 轮。基准包含 5 个智能体画像、12 个买家角色、覆盖 6 个价格档的 15 款手机产品，以及 4 组对照实验共 13,680 场会话，销售方与买家角色生成均基于 RAG。
正文 · AI 翻译
摘要：我们提出了 SmartSalesBench，这是首个明确设计用于评估大型语言模型（LLM）销售代理、并针对具有心理学依据的抗拒型买家角色的多轮对话基准。现有的任务导向对话基准假设用户是配合的，并衡量任务完成情况；SmartSalesBench 颠覆了这一假设，让代理面对被设定为在最多二十轮的对话中抗拒和质疑的角色。该基准包含五个代理画像、十二个买家角色、横跨六个价格档位的十五款智能手机产品，以及四项受控实验，共 3 次迭代、总计 13,680 次会话。销售代理和买家角色的生成均通过检索增强生成（RAG）进行接地。我们引入了九项评估指标，分为三个层级：主要结果指标（CR、BRS、RIR）、次要质量指标（SMS、PFS、ETI），以及计划在未来报告中使用的探索性指标（ITS、ARI、SPI）。我们的评估将自动化的 LLM 作为评判者评分与内部人工评估相结合（n = 50，\k{appa} = 0.71，与 BRS 的 Pearson r = 0.81）。
| 评论： | 请求审阅 |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.12975 [cs.AI] |
| （或 arXiv:2610.12975v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.12975 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Susen Sarkar [查看电子邮件]
[v1]
2026年10月9日星期五 04:21:12 UTC（2,962 KB）
来源：arXiv cs.CL · arxiv.org