arXiv cs.AI· Konstanty Subbotko·· 12 小时前AI 评分18
MIDAS：基于自注意力与分块输入的输入特定可微分架构搜索
MIDAS: Mosaic Input-Specific Differentiable Architecture Search
AI 导读
MIDAS 通过自注意力将 DARTS 的静态架构参数替换为输入特定的动态参数，并按激活图的空间分块分别计算架构选择，同时引入无参数、拓扑感知的搜索空间建模双边缘节点拓扑。
正文 · AI 翻译
摘要：可微神经架构搜索（NAS）提供了高效、基于梯度的自动设计神经网络方法，但其在实际中的应用仍然有限。我们提出 MIDAS，该方法通过用基于自注意力计算的动态、输入特定参数替换静态架构参数，对 DARTS 进行了现代化改造。为提高鲁棒性，MIDAS (i) 通过为激活图的每个空间块单独计算架构选择来实现局部化，(ii) 引入无参数、拓扑感知的搜索空间，在搜索过程中对双边节点拓扑进行建模。我们在 DARTS、NAS-Bench-201 和 RDARTS 搜索空间上评估 MIDAS。在 DARTS 中，它在 CIFAR-10 上达到 97.42% top-1，在 CIFAR-100 上达到 83.38%。在 NAS-Bench-201 中，它发现了最优或接近最优的架构。在 RDARTS 中，它在 CIFAR-10 的四个搜索空间中的两个上取得了所比较方法中报告的最佳性能。我们进一步分析了 MIDAS 为何有效，表明逐块注意力提高了候选操作之间的区分度，并且所得的输入特定参数分布具有类别感知性。
| 评论： | 发表于 Transactions on Machine Learning Research (TMLR) |
| 主题： | 机器学习 (cs.LG)；人工智能 (cs.AI)；神经与进化计算 (cs.NE) |
| 引用为： | arXiv:2602.17700 [cs.LG] |
| （或此版本的 arXiv:2602.17700v2 [cs.LG]） | |
| https://doi.org/10.48550/arXiv.2602.17700 arXiv 颁发的 DOI（通过 DataCite） |
|
| 期刊 参考： | Transactions on Machine Learning Research (2026) |
提交历史
来自：Konstanty Subbotko [查看电子邮件]
[v1]
2026年2月6日星期五 23:16:41 UTC（176 KB）
[v2]
2026年10月26日星期一 22:16:52 UTC（174 KB）
来源：arXiv cs.AI · arxiv.org