arXiv cs.AI· Farnaz Soleimani (LISSI), Abdelghani Chibani (LISSI), Yacine Amirat (LISSI), Ghazaleh Khodabandelou (LISSI)·· 3 天前AI 评分22
神经符号图 Transformer 实现多模态人类活动序列的分层意图识别
Neuro-Symbolic Graph Transformers for Hierarchical Intention Recognition from Multimodal Human Activity Sequences
AI 导读
研究者提出神经符号图 Transformer（NSGT），通过可学习拓扑偏置将人类推理图（HR-G）融入自注意力机制，并加入可微一阶逻辑（FOL）损失约束原子动作、复合活动、低层意图与高层意图四层本体一致性。
正文 · AI 翻译
摘要：主动式人机协作要求自主系统不仅推断即时动作，还要推断支配人类行为的底层分层意图。当前的深度学习方法主要聚焦于扁平的动作分类，无法捕捉连接运动学运动与高层目标的结构化依赖关系。本文在该多模态框架内提出了一种神经符号图 Transformer（NSGT），通过可学习的拓扑偏置将人类推理图（HR-G）集成到自注意力机制中。此外，该架构还引入了一个可微分的一阶逻辑（FOL）损失，作为结构正则化器，在四个层级上强制本体一致性：原子动作、复合活动、低层意图和高层意图。评估在合成的 NTU-Hierarchy 数据集上进行，该数据集是 NTU RGB+D 120 的四层本体扩展，其中现有序列被映射为 119,383 个复杂分层片段（85 个动作、16 个活动、8 个 LLI、4 个 HLI）。为防止循环监督，标签生成与 FOL 约束之间保持了严格隔离。在基础配置中，NSGT 达到了 91.65% 的 top-1 动作准确率。当将 FOL 损失纳入基线时，逻辑一致性提高了 3.26 个百分点，达到 96.67%。通过 HR-G 偏置，在准确性与结构连贯性之间建立了可调的权衡。在主要的一致性最大化配置（$\lambda$ = 0.5）中，逻辑一致性达到 94.59%，本体矛盾减少了 33%，同时保持了稳健的 89.90% top-1 动作准确率。最后，学习到的 HR-G 权重提供了可解释的推理证据，其中转移边在无显式监督的情况下被强烈利用（$\beta$ trans $\approx$ +2.6）。
| Subjects: | 人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.18176 [cs.AI] |
| （或 arXiv:2610.18176v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.18176 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Farnaz SOLEIMANI [查看电子邮件] [通过 CCSD 代理]
[v1]
2026年10月13日星期二 11:20:51 UTC（1,615 KB）
来源：arXiv cs.AI · arxiv.org