arXiv cs.AI· Yuekai Xu, Zitao Shuai, Yuzhe Yang·· 10 天前AI 评分30
Sensor-Language-Action 模型：OpenSLA 统一传感器、语言与动作
Sensor-Language-Action Models
AI 导读
研究者提出 Sensor-Language-Action（SLA）建模框架，以语言作为感知与行动之间的语义接口，将多模态传感器观测、自然语言和动作统一到一个模型中。
正文 · AI 翻译
摘要：传感器不仅有助于理解世界，也有助于决定下一步该做什么。然而，现有的传感器模型大多止步于感知：它们识别状态或预测结果，而将动作通过任务特定且通常是封闭的标签空间单独建模。我们提出传感器-语言-动作（SLA）建模，这是一个在统一模型中连接多模态传感器观测、自然语言和动作的框架。SLA 使用语言作为感知与行动之间的语义接口，使异构动作能够被表示、预测和解释，同时仍以底层传感器证据为基础。我们构建了一个大规模 SLA 基准，包含涵盖超过 116,000 名个体、79 种传感器模态和 60 个动作组的数据集，以及一个多方面的描述生成流程，用于对齐用户上下文、传感器动态和动作证据。在此框架基础上，我们提出 OpenSLA，一个用于分层动作预测、状态理解和动作解释的统一 SLA 模型。在临床预测、手术室和代谢健康等真实世界任务上的大量实验验证了其优于当前最先进方法的性能。OpenSLA 还展示了引人注目的能力，包括语言引导的证据 grounding 以及对未见动作和队列的零样本泛化。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.08244 [cs.AI] |
| （或 arXiv:2610.08244v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.08244 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Zitao Shuai [查看电子邮件]
[v1]
2026年10月6日星期二 12:26:21 UTC（6,442 KB）
来源：arXiv cs.AI · arxiv.org