arXiv cs.AI· Jingyu Tang, Xu Yang, Zhehao Zhang, Zheng Wang, Qi Cheng, Haozhe Zhao, Manling Li, Wenxuan Li, Xide Xia, Jiaxin Pei·· 2 天前AI 评分32
Realtime-Bench：前沿模型能否解决实时交互问题？
Realtime-Bench: Can Frontier Models Solve Real-time Interactive Problems?
AI 导读
研究团队推出 Realtime-Bench，用于评测智能体在严格时间约束下的实时交互能力。在按实际推理延迟推进环境的 Wall Clock 设定下，最佳成功率仅 44%，最佳 Pass^3 仅 36%。研究还对比了排除推理延迟的 Paused Clock 与按生成 token 数推进模拟时间的 Token Clock，发现时间成本制约了动态环境中的表现，且提高推理投入在时间压力下效果不一。
正文 · AI 翻译
摘要：实时交互要求智能体感知不断变化的环境并在时间约束下行动，然而现有的实时流式模型评估侧重于对话质量和流式感知，未能检验在严格时间约束下的有效行动。我们提出 Realtime-Bench，一套精心策划的动态任务，其中延迟行动会直接影响成功与否。在 Wall Clock 下，环境根据实际推理延迟推进，最佳成功率仅为 44%，最佳 Pass^3 仅为 36%，表明实时交互仍然具有挑战性。为了将服务延迟与模型的实时流式能力区分开来，我们将 Wall Clock 与 Paused Clock 进行比较，后者消除了推理延迟作为理想化参考，并引入 Token Clock，它根据生成的 token 数量推进模拟时间，独立于物理服务速度来测试时间意识。我们发现时间成本限制了在不断变化的环境中取得成功，并且在时间压力下更高的推理努力具有混合效果，反映了决策质量与及时执行之间的权衡。这些发现为改进实时多模态智能体指明了方向，包括具有时间意识的自适应推理以及持续的感知与行动。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.22155 [cs.AI] |
| （或 arXiv:2610.22155v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.22155 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Jingyu Tang [查看邮箱]
[v1]
2026年10月15日星期四 16:20:47 UTC（5,954 KB）
来源：arXiv cs.AI · arxiv.org