arXiv cs.AI· Yibo Wang, Senjie Jin, Yansong Ning, Xinbing Liang, Haotian Luo, Jiazheng Zhang, Yuxuan He, Will Wu, Clarenceai·· 3 天前AI 评分35
LifeSearch：面向真实生活与生产力的深度研究智能体基准测试
LifeSearch: Benchmarking Deep Research Agents for Real-World Life and Productivity
AI 导读
研究团队推出 LifeSearch 基准，包含 203 个中英文任务，覆盖 7 个真实生活与生产力领域，并基于超 4500 小时人工标注构建了 4000 多条细粒度评分标准。
正文 · AI 翻译
摘要：深度研究（DR）智能体通过多步推理、长时程网络搜索和证据综合来满足开放式信息需求。然而，现有基准主要聚焦于学术研究或合成任务，导致 DR 智能体在现实生活与专业生产力场景中的能力评估不足。为弥补这一空白，我们推出 LifeSearch，这是一个具有挑战性的基准，包含 203 个中英文任务，源自 7 个具体生活与生产力领域的真实用户查询种子。借助超过 4,500 小时的人工标注，我们构建了 4,000 多条由专家撰写的细粒度评分标准，既涵盖报告内容的覆盖度与准确性标准，也包含具体规定数值、单位、日期和 URL 的标准。我们在统一的评估框架下对 12 个先进 DR 智能体进行了大量实验，系统分析其性能模式与失败模式。我们发现，即使表现最佳的前沿智能体 GPT-5.6 Sol 也仅获得 63.4% 的分数，在现实生活与专业 DR 任务上仍有很大提升空间。我们通过将候选 LLM 评判者与人工评分标准标签进行对比来选择评分配置，一项人工排名研究显示，基准总分与人工判断之间高度一致（Spearman's $\rho = 0.89$，Kendall's $\tau = 0.81$）。LifeSearch 为推进 DR 智能体走向现实生活与生产力提供了严格的评估框架和基础。
| 评论： | 预印本 |
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.18092 [cs.AI] |
| （或 arXiv:2610.18092v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.18092 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Yansong Ning [查看邮箱]
[v1]
2026年10月13日星期二 10:12:26 UTC（354 KB）
来源：arXiv cs.AI · arxiv.org