arXiv cs.AI· Xinnan Dai, Kaiqi Yang, Yaxin Li, Cheng Luo, Wanli Li, Mingqing Xiao, Xinyang Jiang, Daoan Zhang, Kaitao Song, Fengze Liu, Zefan Cai, Caihua Shan·· 3 天前AI 评分34
Words to World：在交互式物理环境中评测 LLM
Words to World: Benchmarking LLMs in Interactive Physical Environments
AI 导读
研究者提出 Words to World 基准，让 LLM 通过控制连接机械臂、摄像头和传感器的 harness 系统，在真实物理环境中完成闭环交互任务。该基准考察模型的具身感知、动作规划、工具选择、空间推理与反馈纠错能力，实验发现模型存在幻觉状态变化、异常恢复差、长程规划不稳定等失败模式。
正文 · AI 翻译
作者：Xinnan Dai、Kaiqi Yang、Yaxin Li、Cheng Luo、Wanli Li、Mingqing Xiao、Xinyang Jiang、Daoan Zhang、Kaitao Song、Fengze Liu、Zefan Cai、Caihua Shan
摘要：词语正日益成为行动的接口：大语言模型（LLM）如今能够调用工具、操作设备，并做出影响物理世界的决策。然而，当前的基准测试大多通过静态文本回复、离线工具调用或模拟任务来评估 LLM，这使得它们能否在真实物理环境中行动这一问题仍悬而未决。我们提出了一个用于在闭环物理交互中衡量 LLM 的基准测试，其中模型控制一个连接到真实世界组件（包括机械臂、摄像头和传感器）的线束系统。在每个任务中，模型必须发出指令、接收来自环境的物理反馈、解读由此产生的状态，并相应地调整其下一步行动。这一设定评估的是语言理解之外的能力，包括具身感知、行动规划、工具选择、空间推理、反馈驱动的纠正，以及对执行不确定性的鲁棒性。通过对具有代表性的 LLM 进行实验，我们刻画了它们将语言推理转化为物理行动的能力，并识别出常见的失败模式，例如幻觉式的状态变化、对意外结果恢复能力差，以及长时程规划不稳定。我们的基准测试旨在为评估作为连接词语、工具与物理世界的交互式智能体的 LLM 提供系统性的基础。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.15228 [cs.AI] |
| （或 arXiv:2610.15228v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.15228 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Kaiqi Yang [查看邮箱]
[v1]
2026年10月10日 星期六 23:40:54 UTC（6,026 KB）
来源：arXiv cs.AI · arxiv.org