跳到正文
arXiv cs.CL· Baiyu Chen, Zechen Li, Wilson Wongso, Lihuan Li, Xiachong Lin, Hao Xue, Benjamin Tag, Flora Salim·· 10 小时前AI 评分32

AnyMo:几何感知的免配置野外人体运动建模框架

AnyMo: Geometry-Aware Setup-Agnostic Modeling of Human Motion in the Wild

AI 导读

AnyMo 是一个几何感知的免配置人体运动建模框架,通过物理驱动的 IMU 仿真在密集体表位置生成合成信号,预训练图编码器并将多位置 IMU 数据 tokenize 为全身运动 token,再与 LLM 对齐实现运动-语言理解。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:随着可穿戴与移动设备日益融入日常生活,它们为在真实场景中持续感知人体运动提供了一种实用途径。但惯性信号高度依赖于传感设置,包括身体位置、佩戴位置、传感器朝向、设备硬件和采样协议。这种对设置的依赖使得难以学习可跨设备和数据集迁移的运动表征,也限制了可穿戴 IMU 在闭集识别之外的更广泛应用。我们提出 AnyMo,一个面向设置无关人体运动建模的几何感知框架。AnyMo 利用基于物理的 IMU 仿真在密集体表放置上生成多样且合理的合成信号,从成对的合成放置视图和掩码部分观测中预训练图编码器,将多位置 IMU 标记化为全身运动 token,并将这些 token 与 LLM 对齐以实现运动-语言理解。我们在三个互补任务上评估 AnyMo:跨 14 个未见下游数据集的零样本活动识别、跨模态检索和可穿戴 IMU 运动描述,其中在 HAR 上平均 Accuracy/F1/R@2 分别提升 11.7\%/11.6\%/22.6\%,零样本 IMU-to-text 和 text-to-IMU 检索 MRR 分别提升 15.9\% 和 28.6\%,零样本描述 BERT-F1 提升 7.5\%。这些结果支持 AnyMo 作为真实场景中可穿戴运动理解的通用模型。项目页面:this https URL。
评论: NeurIPS 2026。请访问我们的项目页面获取代码、模型、基准等:this https URL
主题: 计算机视觉与模式识别(cs.CV);人工智能(cs.AI);计算与语言(cs.CL);人机交互(cs.HC)
引用为: arXiv:2605.22715 [cs.CV]
  (或 arXiv:2605.22715v3 [cs.CV] 用于此版本)
  https://doi.org/10.48550/arXiv.2605.22715

由 DataCite 颁发的 arXiv DOI

提交历史

来自:Baiyu Chen [查看邮箱]
[v1] 2026年5月21日星期四 16:52:10 UTC(7,797 KB)
[v2] 2026年5月23日星期六 13:34:44 UTC(9,463 KB)
[v3] 2026年11月10日星期二 12:25:40 UTC(8,083 KB)

来源:arXiv cs.CL · arxiv.org