arXiv cs.AI· Asiri Gawesha Lindamulage, Sanka Mohottala, Dharshana Kasthurirathna, Nuwan Kodagoda·· 11 小时前AI 评分22
STAG-Net：基于关键点组结构感知注意力的轻量头部姿态估计
STAG-Net: Structure-Aware Attention over Landmark Groups for Lightweight Head Pose Estimation
AI 导读
STAG-Net 通过面部关键点组上的结构感知注意力实现轻量头部姿态估计，在所有对比的基于关键点方法中取得最低平均绝对误差。其 FAN 变体在 BIWI 有效检测帧上跨数据集评估误差为 3.51°、受试者独立评估为 2.39°，回归器仅 0.012-0.043M 参数、24.1-83.6K FLOPs，比 FSA-Net 少约三个数量级。
正文 · AI 翻译
摘要：头部姿态估计对于人机交互和驾驶员监控非常重要，但许多基于图像的方法对于资源受限的部署来说成本仍然过高。我们提出 STAG-Net，一种基于关键点组的结构感知注意力轻量级头部姿态估计方法，它利用运动感知选择、空间聚类、紧凑的 DeepSet 编码器、自注意力和全局几何描述符，从面部关键点估计头部姿态。我们开发了使用 FaceMesh 和 Face Alignment Network 关键点的变体，并在 300W-LP、AFLW2000 和 BIWI 上以跨数据集和受试者独立协议对它们进行评估。在每个评估设置中，STAG-Net 在所有比较的基于关键点的方法中取得了最低的平均绝对误差。在具有有效检测的 BIWI 帧上，FAN 变体还记录了所有比较方法中最低的总体误差，在跨数据集评估下达到 $3.51^\circ$，在受试者独立评估下达到 $2.39^\circ$。回归器仅使用 0.012 至 0.043 百万个参数和 24.1 至 83.6 千次 FLOPs，FLOPs 比 FSA-Net 少约三个数量级。尽管包含关键点提取和回归，FaceMesh 流水线在 Tesla T4 GPU 上达到每秒 322.9 帧，几乎是测得最快的基于图像的基线每秒 164.5 帧的两倍，在 CPU 上达到每秒 111.0 帧。按数据集大小归一化后，STAG-Net 处理训练样本的速度比 FSA-Net 快七到八倍，比 HopeNet 和 TokenHPE 快一百倍以上，而完整训练在 28 分钟内完成。这些结果表明，STAG-Net 将领先的基于关键点的精度与大幅降低的训练和推理成本结合在一起。
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI）；人机交互（cs.HC） |
| 引用为： | arXiv:2611.07828 [cs.CV] |
| （或此版本的 arXiv:2611.07828v1 [cs.CV]） | |
| https://doi.org/10.48550/arXiv.2611.07828 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Asiri Gawesha Lindamulage [查看电子邮件]
[v1]
2026年11月5日星期四 11:09:34 UTC（4,508 KB）
来源：arXiv cs.AI · arxiv.org