arXiv cs.AI· Zhengtao Gao, Francesco Bombassei De Bona, Leonardo Alchieri, Ivana Kiprijanovska, Simon Stankoski, Bojan Sofronievski, Hristijan Gjoreski, Marc Langheinrich, Martin Gjoreski·· 10 小时前AI 评分20
用自监督预训练实现 OCOsense 智能眼镜标签高效面部表情识别
Self-Supervised Pretraining for Label-Efficient Facial Expression Recognition using Smart Glasses
AI 导读
研究用掩码自编码器目标在无标注 OCOsense 智能眼镜记录上预训练 Vision Transformer，再微调做五类面部表情识别，在 5% 到 100% 各档标签预算下均优于从头训练。仅用 5% 标签时，预训练模型即超过用全部标签从头训练的模型。该工作获 UbiComp Companion '26 的 SEPH 2026 workshop 最佳论文奖。
正文 · AI 翻译
摘要：在 OCOsense 等光肌图（OMG）智能眼镜上进行面部表情识别（FER），可实现保护隐私、无需摄像头的健康与福祉情感感知。大多数 FER 系统都是全监督的，即它们要么依赖手工设计的专家特征结合经典机器学习，要么依赖从标注数据训练的端到端深度模型。两者都依赖大量标注表情，这些标注收集成本高昂，并限制了在真实世界个性化场景中的部署。我们研究自监督学习（SSL）作为在这些眼镜上实现标签高效 FER 的途径。我们在未标注的 OCOsense 记录上以掩码自编码器目标预训练一个 Vision Transformer，并在人物无关的交叉验证下针对五类 FER 进行微调。在 5% 到 100% 的标签预算范围内，预训练始终提升性能；仅使用 5% 的标签时，预训练模型就优于使用全部标签从头训练的模型。我们的结果表明，SSL 预训练是降低智能眼镜 FER 标注成本的实用方法，我们还讨论了对未来个性化和持续适应的影响。
| 评论： | 7 页，5 幅图，2 张表。获 SEPH 2026 研讨会最佳论文奖，UbiComp Companion '26 |
| 主题： | 人工智能（cs.AI） |
| ACM 分类： | I.2.6; I.5.4 |
| 引用为： | arXiv:2611.05711 [cs.AI] |
| （或 arXiv:2611.05711v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.05711 由 DataCite 颁发的 arXiv DOI（待注册） |
|
| 期刊 参考： | 2026 年 ACM 国际普适与泛在计算联合会议论文集（UbiComp Companion '26），2026 年 10 月 11-15 日，中国上海 |
| 相关 DOI： | https://doi.org/10.1145/3798063.3839146
链接到相关资源的 DOI |
提交历史
来自：Francesco Bombassei De Bona [查看电子邮件]
[v1]
2026 年 11 月 3 日星期二 22:37:17 UTC（4,539 KB）
来源：arXiv cs.AI · arxiv.org