arXiv cs.AI· Yunxiang Luo, Constantino \'Alvarez Casado, Xiaoting Wu, Nhi Nguyen, Le Nguyen, Manuel Lage Ca\~nellas, Miguel Bordallo L\'opez·· 3 天前AI 评分16
用 JEPA 表征学习多模态传感器融合，实现呼吸活动与姿态识别
Learning Multimodal Sensor Fusion with JEPA Representations for Breathing Activity and Pose Recognition
AI 导读
研究将冻结的 V-JEPA2 特征迁移至 RGB 视频、深度视频与雷达时间序列等异构传感器，用带模态查询、固定传感器槽位和显式可用性标记的共享融合模型，从全部七种非空传感器子集识别呼吸活动与姿态。
正文 · AI 翻译
摘要：预测性视频表征本身并不能说明多模态系统应如何处理缺失的传感器。我们将冻结的 V-JEPA2 特征迁移到一组由 RGB 视频、深度视频和雷达时间序列组成的异构传感器上。一个共享融合模型使用模态查询、固定传感器槽位和显式可用性，从全部七个非空传感器子集中对呼吸活动和姿态进行分类。本文的贡献是在 39 名 OMuSense-23 受试者上，采用五个受试者分组折和三个随机种子，对子集监督、池化容量和表征迁移进行受控评估。在下游参数量匹配的情况下，最终模型在七个子集上平均达到录制级活动宏 F1 为 $75.23%\pm0.60$。在每个批次中监督所有子集，相比匹配的查询池化对照组提升了 1.923 个百分点（条件 95% 受试者自助法区间 [0.647, 3.209]），而在平衡监督下，查询池化相比匹配的均值池化未显示出明显优势。雷达探针支持超越池化小波像素的迁移，64 token 推理大致保持了平均活动性能，且所测试的 Consensus-JEPA 损失相对于其精确对照组未带来可测量的收益。
| 评论： | 6 页，2 幅图，3 个公式，4 张表，会议论文 |
| 主题： | 计算机视觉与模式识别 (cs.CV)；人工智能 (cs.AI) |
| 引用为： | arXiv:2610.15891 [cs.CV] |
| （或 arXiv:2610.15891v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.15891 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Constantino Álvarez Casado [查看邮箱]
[v1]
2026 年 10 月 11 日星期日 20:13:12 UTC（313 KB）
来源：arXiv cs.AI · arxiv.org