arXiv cs.CL· Yuting Ning, Ruijia Cheng, Sushobhan Ghosh, Peitong Duan, HungShi Lin, Abhishek Sundararajan, Shreyash Pandey, Huan Sun, Jeffrey Nichols, Eldon Schoop·· 14 小时前AI 评分42
iPrefBench：面向个性化移动使用智能体的用户中心基准
iPrefBench: A User-Centric Benchmark for Personalized Mobile Use Agents
AI 导读
iPrefBench 是评估个人移动使用智能体“推断与询问”能力的基准，在可执行 iOS 环境中运行，基于含 3,051 条历史活动事件的连贯人设，覆盖 26 个应用的 130 个欠指定任务。7 个前沿智能体的动作完成分最高达 91.6%，但完整任务成功率最高仅 47.7%，个性化明显落后于执行能力，尤其在只能向用户询问的信息上请求不足。
正文 · AI 翻译
摘要：一个真正了解用户并代表用户行事的智能体，一直是 AI 助手长期以来的承诺。计算机使用智能体通过在各类应用中熟练执行完全指定的任务，使这一承诺触手可及。然而，现实世界中的用户请求往往不够明确。为了针对特定用户正确行事，智能体必须从用户的活动历史中推断一些缺失的信息，并询问其他只有用户才能提供的信息，同时不做无依据的假设，也不以不必要的问题给用户造成负担。我们提出 iPrefBench，这是一个在可执行的 iOS 环境中、配有交互式模拟用户的基准，用于评估个人移动使用智能体的推断与询问能力。iPrefBench 基于一个连贯的人物设定，包含 3,051 条过往活动事件，涵盖 26 个应用中的 130 个未充分指定的用户任务。每个被省略的、依赖用户的需求，在构造上要么可从历史推断，要么只能询问。iPrefBench 评估个性化移动智能体两方面：智能体是否为用户正确完成任务（即个性化任务完成），以及它们在必要时是否寻求用户输入（即用户-智能体交互）。对 7 个前沿智能体的评估揭示了执行与个性化之间的巨大差距。智能体取得了很高的动作完成分数（最高达 91.6%），但完整任务成功率较低（最高达 47.7%），因为个性化滞后。它们尤其难以处理只能询问的信息，未能请求足够的必要信息。我们的发现凸显了个性化智能体在知道该推断什么以及何时询问方面面临的挑战。我们希望 iPrefBench 能成为一个有价值的测试平台，用于构建了解其用户并与用户协作的智能体。
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.34735 [cs.CL] |
| （或 arXiv:2610.34735v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.34735 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yuting Ning [查看电子邮件]
[v1]
2026年10月26日星期一 02:35:41 UTC（15,332 KB）
来源：arXiv cs.CL · arxiv.org