arXiv cs.CL· Yuqin Dai, Zhanwei Zhang, Honghui Yang, Zhouheng Yao, Yueqi Zhang, Jingyu He, Chaoyang Shi, Fanding Wei, Boyuan Pan, Kai Xu, Yao Hu, Yongliang Shen·· 10 小时前AI 评分38
CARTBench：面向复杂模糊购物需求的评分标准评测基准
CARTBench: Rubric-Based Evaluation of Shopping Advice for Complex and Ambiguous Requests with Timelines
AI 导读
研究团队推出 CARTBench，用于评测 LLM 购物助手处理带时间线的复杂模糊需求（CART）的能力，覆盖 17 个零售领域、1,603 条商品记录与 1,328 条专家标注评分标准。
正文 · AI 翻译
作者：Yuqin Dai、Zhanwei Zhang、Honghui Yang、Zhouheng Yao、Yueqi Zhang、Jingyu He、Chaoyang Shi、Fanding Wei、Boyuan Pan、Kai Xu、Yao Hu、Yongliang Shen
摘要：大语言模型（LLM）购物助手现已在多轮对话中推荐产品。然而，可靠的评估面临数据稀缺和标准难以统一的问题。为解决这些障碍，我们提出了 CARTBench，用于 CART（带时间线的复杂且模糊的请求）。针对数据稀缺，我们从 17 个零售领域的真实商业购物需求中整理案例，将带时间戳的对话与 1,603 条产品记录配对。针对标准难以统一的问题，我们制定了由理想回复原则指导的案例特定评分标准，这些原则提炼自从成功完成的订单中人工挑选出的优秀回复。这些原则还指导了原则引导的 CART 提示，即我们的结构化推荐策略。实验基准包含 1,328 条专家标注的标准，涵盖核心、卓越和安全三个方面。为回答 CART 问题，我们评估了 7 个旗舰商业 API 模型，包括 GPT-6.1-Sol 和 Claude-Opus-5，以及 35B+ 参数的开源权重模型。在冻结评分标准下的首次全套评估中，10 个模型中有 3 个在核心方面超过 90%，而在卓越方面没有一个超过 45%。因此，我们发现了所需行为与高质量购买建议之间的理解到执行的差距。为考察这些局限，我们诊断了产品证据和未解决需求中的共同失败，这些失败与需求变化和决定性未知因素相关。代码和数据可在 此 https URL 获取。
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2611.05862 [cs.CL] |
| （或 arXiv:2611.05862v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.05862 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Dai Yuqin [查看电子邮件]
[v1]
2026年11月4日星期三 02:52:07 UTC（4,721 KB）
来源：arXiv cs.CL · arxiv.org