arXiv cs.CL· Xiaohongshu Dots Studio, Evolvent AI·· 10 小时前AI 评分52
VibeLifeBench 发布：200 个长周期生活任务评测智能体主动性与持续性
VibeLifeBench: Can Your Life Agent Be Proactive and Persistent in a Living World?
AI 导读
小红书 Dots Studio 与 Evolvent AI 提出 VibeLifeBench，用 200 个跨十个日常生活领域的长周期任务评测 LLM 智能体。
正文 · AI 翻译
摘要：大语言模型（LLM）智能体正越来越多地被部署为个人助理。然而，现有评估大多使用静态环境中的简短、自包含请求。日常生活辅助则不同。一项任务会持续数周而非几分钟。在智能体未被提示时，世界仍在不断变化。许多约束从未被明确说明。仅仅回答眼前请求的智能体会在这类任务上失败。真正需要的是一个保持主动且一致的智能体。它自行决定何时行动、何时询问、何时保持沉默。它能注意到无人告知的变化。它让同一个计划从第一天到最后一天保持连贯。目前没有基准衡量这一点。我们推出 VibeLifeBench，这是一个包含 200 个长时程任务的基准，覆盖十个日常生活领域。每个任务都是在一个由 22 个模拟服务构成的模拟世界中，按脚本展开的多周时间线。世界按自己的时钟推进，其中许多变化是静默的，因此只有重新检查世界的智能体才能发现它们。每个任务都由细粒度、加权检查评分，这些检查只读取智能体实际留下的内容，涵盖最终状态、其行动的及时性，以及它是否遵守了隐含约束。我们评估了七个前沿模型。它们的得分都很低，这表明当前智能体距离协助现实生活还有多远。我们将开源所有任务、环境和评估框架。
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2608.10875 [cs.CL] |
| （或 arXiv:2608.10875v3 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2608.10875 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Lei Huang [查看邮箱]
[v1]
2026年8月11日星期二 12:52:38 UTC（998 KB）
[v2]
2026年8月16日星期日 17:38:38 UTC（998 KB）
[v3]
2026年11月6日星期五 01:42:10 UTC（999 KB）
来源：arXiv cs.CL · arxiv.org