arXiv cs.AI· Yuxiang Zeng, Kun Xie, Yang Wang, Jigang Wen, Xiaocan Li, Guangxing Zhang, Gaogang Xie, Jiannong Cao·· 3 天前AI 评分22
DTA-GT：面向神经网络表示学习的方向与拓扑感知图 Transformer
DTA-GT: Direction- and Topology-Aware Graph Transformer for Neural Network Representation Learning
AI 导读
DTA-GT 是一种基于编码器级方向一致性的方向与拓扑感知图 Transformer，用于神经网络架构的精度与延迟预测。
正文 · AI 翻译
摘要：架构属性预测器通过从少量已评估候选中估计准确率或延迟，降低了神经架构搜索的成本。关键难点在于神经架构是操作标记的有向无环图：边方向定义了计算流，但现有预测器往往将方向视为局部结构线索。我们提出 DTA-GT，一种基于编码器范围方向一致性的方向与拓扑感知图 Transformer，它在节点初始化、全局谱编码、成对交互和特征更新中保持有向计算语义。DTA-GT 通过方向与拓扑感知的节点初始化、磁拉普拉斯谱编码、方向对偶结构注意力和方向敏感 MoE-FFN 来实现这一原则。在 NAS-Bench-101 和 NAS-Bench-201 上的准确率和延迟预测中，DTA-GT 在有限预算设置下始终优于代表性的序列、GNN、Transformer 和混合预测器。消融实验和磁谱控制表明，改进来自协调的方向感知阶段和边方向敏感的谱信息，而机制诊断证实这些模块表现出预期的方向行为。这些结果支持将编码器范围的方向一致性作为架构 DAG 表示的有效设计原则。
| 评论： | 已被 NeurIPS 2026 接收。36 页，6 幅图 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；神经与进化计算（cs.NE） |
| 引用为： | arXiv:2610.16822 [cs.LG] |
| （或 arXiv:2610.16822v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.16822 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Yuxiang Zeng [查看电子邮件]
[v1]
2026 年 10 月 12 日星期一 14:04:21 UTC（629 KB）
来源：arXiv cs.AI · arxiv.org