arXiv cs.AI· Garry Yang, Zizhe Chen, Xinru Chen, Yongqiang Chen, Jianxiang Wang, Deyu Zou, Linyi Ding, Jialiang Wu, Yunzhong He, Yu Gong, James Cheng, Huaixiao Tou·· 11 小时前AI 评分31
APeB：大语言模型智能体个性化能力基准测试
APeB: Benchmarking Personalization Ability of Large Language Model Agents
AI 导读
研究者提出个性化商品搜索（PPS）测试平台并构建 Agent Personalized Benchmark（APeB），用于评估 LLM 智能体在原始模糊查询和多样交互历史下的个性化能力。
正文 · AI 翻译
作者：Garry Yang、Zizhe Chen、Xinru Chen、Yongqiang Chen、Jianxiang Wang、Deyu Zou、Linyi Ding、Jialiang Wu、Yunzhong He、Yu Gong、James Cheng、Huaixiao Tou
摘要：当用户发出原始、表述不充分的查询时，由 LLM 驱动的智能体难以实现个性化。在这种情况下，智能体必须推断潜在意图、从嘈杂的交互历史中提取偏好，并在相互竞争的备选方案中进行选择。现有基准很少测试这一能力，因为它们通常依赖用户精炼后的查询或简化的历史记录。我们提出个性化产品搜索（PPS），这是一个用于在原始查询和多样化历史记录下评估智能体个性化的测试平台。我们基于操作日志构建了智能体个性化基准（APeB），将表述不充分的意图与丰富的历史记录以及用户查看过的候选项目配对。通过多步智能体工作流评估最先进的 LLM，我们发现模型能够很好地处理明确查询，但在需要发现意图和偏好的早期阶段查询上表现不佳。评分标准分析将这一差距主要归因于历史记录利用效率低下。一个简单的历史感知查询精炼流水线 VQRA 带来了持续的性能提升，凸显了个性化智能体中专用历史利用模块的必要性。
| 评论： | 已被 EMNLP 2026 Findings 接收。代码和数据：此 https URL |
| 主题： | 人工智能（cs.AI）；人机交互（cs.HC） |
| 引用为： | arXiv:2607.03162 [cs.AI] |
| （或使用 arXiv:2607.03162v3 [cs.AI] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2607.03162 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Haochen Yang 先生 [查看邮箱]
[v1]
2026年7月3日星期五 10:03:35 UTC（33,705 KB）
[v2]
2026年8月27日星期四 14:22:53 UTC（33,706 KB）
[v3]
2026年10月16日星期五 07:23:05 UTC（33,706 KB）
来源：arXiv cs.AI · arxiv.org