arXiv cs.AI· Chiyue Wang, Yang Gao, Zhanpeng Jin·· 6 天前AI 评分22
MyoSem：将肌电信号与自然语言动作语义对齐
MyoSem: Aligning Electromyography with Natural-Language Action Semantics
AI 导读
MyoSem 是一个肌电信号与动作语义对齐框架，将手部 EMG 与多视角自然语言动作描述映射到共享特征空间，实现双向 EMG—文本检索。在 NinaPro DB2、EMG2Pose 及 NinaPro DB2→DB3 的七种协议下（涵盖随机划分、用户偏移、留出动作类别和健全者到截肢者迁移），MyoSem 取得所评估方法中最强的整体双向检索性能。
正文 · AI 翻译
摘要：肌电图（EMG）记录肌肉激活，用于手势识别、假肢控制和可穿戴交互。现有 EMG 方法通常将手部动作理解表述为对固定手势标签的预测，导致 EMG 信号与动作语义文本未在共同特征空间中对齐，限制了信号与手部动作描述之间的双向查询。我们提出 MyoSem，一个 EMG--动作语义对齐框架，将手部 EMG 与多视角自然语言动作描述映射到共享特征空间以进行检索。MyoSem 从多视角描述构建语义原型，用局部激活感知表示编码 EMG，并使用语义查询聚合局部 EMG 证据以实现双向 EMG--文本检索。我们在 NinaPro DB2、EMG2Pose 和 NinaPro DB2$\rightarrow$DB3 上以七种协议评估 MyoSem，涵盖随机划分、用户偏移、留出动作类别以及健全者到截肢者的迁移。在此评估中，MyoSem 在所评估方法中取得了最强的整体双向检索性能。消融和表示分析展示了语义原型、激活感知编码和语义查询如何塑造所学空间。总体而言，MyoSem 将 EMG 手部动作理解从固定标签识别推进到语言可查询的语义检索。
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| ACM 分类： | I.2.6；I.2.7 |
| 引用为： | arXiv:2606.00174 [cs.CV] |
| （或 arXiv:2606.00174v2 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2606.00174 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Chiyue Wang [查看电子邮件]
[v1]
2026年5月29日星期五 13:47:00 UTC（3,398 KB）
[v2]
2026年10月9日星期五 06:51:07 UTC（5,184 KB）
来源：arXiv cs.AI · arxiv.org