arXiv cs.AI· Jiangtao Fan, Anish Jindal, Amir Atapour-Abarghouei·· 14 小时前AI 评分22
MCSTN：面向低质量可穿戴传感器数据的缺失条件时空融合人体活动识别框架
Missingness-Conditioned Spatio-Temporal Fusion for Human Activity Recognition from Low-Quality Wearable Sensor Data
AI 导读
研究者提出端到端框架 MCSTN，直接从不完整观测窗口及其掩码预测人体活动，无需先重建信号或估计噪声水平。在 PAMAP2、Opportunity、WISDM 上，不完美观测下平均 macro-F1 分别达 94.24%、91.67%、96.22%，各数据集均优于对比方法。模型参数量不足一百万，单样本推理延迟 3.78 ms。
正文 · AI 翻译
摘要：可穿戴传感器网络通过互补视角捕捉人类活动，其中节点、模态和轴部分描述了潜在的运动。在实际部署中，硬件故障、无线丢包和佩戴松动常常导致整个通道或节点缺失，同时环境干扰会降低剩余信号的质量。常见的“先插补后识别”流程会引入重建误差，而这些误差在推理阶段无法被观察或纠正。我们提出了缺失条件时空网络（MCSTN），这是一个用于在不完美感知下进行鲁棒活动识别的端到端框架。MCSTN 包含三个组件：一个结构化不完美生成器，用于模拟点、时间块、轴、模态和节点故障，并在不同信噪比水平下添加噪声；一个掩码感知表示，使节点嵌入、注意力和时间聚合以可用性掩码为条件；以及一个从完整到不完美的多视图学习方案，其中指数移动平均教师通过语义一致性指导多个退化学生视图。编码器并行建模时间依赖和跨特征依赖：双向选择性状态空间分支捕捉长程时间依赖，转置注意力分支建模跨通道相关性，自适应权重融合它们的输出。在推理时，生成器、教师和一致性损失被移除，因此 MCSTN 直接从观测窗口及其掩码进行预测，无需重建或噪声水平估计。在 PAMAP2、Opportunity 和 WISDM 上，MCSTN 在不完美观测下分别达到 94.24\%、91.67\% 和 96.22\% 的平均宏 F1 分数，在每个数据集上均为所有对比方法中最佳，并且在 Opportunity 上的每种故障模式下均为最佳。它需要少于一百万个参数，每个样本的推理延迟为 3.78~ms。
| 学科： | 计算机视觉与模式识别 (cs.CV)；人工智能 (cs.AI) |
| 引用为： | arXiv:2605.00913 [cs.CV] |
| （或 arXiv:2605.00913v2 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2605.00913 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Jiangtao Fan [查看电子邮件]
[v1]
2026年4月29日星期三 10:55:41 UTC (9,626 KB)
[v2]
2026年10月26日星期一 12:57:05 UTC (7,925 KB)
来源：arXiv cs.AI · arxiv.org