arXiv cs.CL· Mengze Hong, Ziwei Shang, Di Liang, Zijian Li, Liang Zhu, Hongyu Shan, Robin Zhou, Minlong Peng, Zhiqiang Kou, Jia Wang, Di Jiang, Chen Jason Zhang·· 11 小时前AI 评分47
Omni-Life：评测全模态实时 AI 助手日常生活的基准
Omni-Life: Benchmarking Omnimodal Real-Time AI Assistants in People's Daily Lives
AI 导读
研究者推出 Omni-Life 基准，用于评测全模态实时 AI 助手在真实日常场景中能否及时、恰当地提供帮助。该基准含 400 段视频，其中 290 段需要协助、共 555 个必需干预事件，另有 110 段全程应保持沉默；在 12 种主流实时全模态模型配置中，需要协助的视频最多仅 4.48% 被完全正确处理。
正文 · AI 翻译
作者：Mengze Hong、Ziwei Shang、Di Liang、Zijian Li、Liang Zhu、Hongyu Shan、Robin Zhou、Minlong Peng、Zhiqiang Kou、Jia Wang、Di Jiang、Chen Jason Zhang
摘要：实时全模态助手有望在日常生活中为人们提供支持，但仅凭视听理解并不能确定它们能否提供及时且恰当的帮助。我们推出 Omni-Life，这是一个基于真实用户需求、部署场景以及依赖设备的观测结果构建的基准。它将针对危险情况和边缘案例的受控视频合成与在统一时间协议下标注的真实世界视频相结合。该基准包含 400 个视频：其中 290 个需要提供帮助，共包含 555 个必需的干预事件；另有 110 个视频要求全程保持沉默，以测试模型在无需帮助时能否抑制不必要的响应。我们评估了十二种配置，涵盖主流实时全模态模型，并联合评估事件覆盖、响应内容、时机以及不期望的输出。在需要帮助的视频中，最多只有 4.48% 被完全正确处理。为考察实际部署策略，我们研究了任务提醒和响应延迟容忍度。提醒可将召回率提高 17.12 个百分点，但在参考沉默期间每分钟约增加 4.6 次不期望的响应。将延迟容忍度提高 10 秒，召回率最多提高 5.95 个百分点。这些结果表明，现有模型仍不足以在现实应用中提供可靠的帮助，需要在指令遵循、及时主动干预以及无需帮助时抑制响应等方面进行针对性的模型优化。
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2611.02835 [cs.CL] |
| （或 arXiv:2611.02835v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.02835 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Mengze Hong [查看电子邮件]
[v1]
2026年11月2日星期一 09:37:44 UTC（20,380 KB）
来源：arXiv cs.CL · arxiv.org