TraceDSE：面向异构边缘 SoC 上 AI 推理工作负载的智能体设计空间探索

查看 PDF HTML（实验性）

摘要：现代边缘片上系统（SoC）集成了异构处理单元（PU），如 CPU、GPU 和 NPU，每个单元具有不同的性能和能耗特性。在实时延迟和能耗约束下将 AI 推理工作负载部署到这些单元上，需要联合地将工作负载映射到 PU 并配置每个 PU（例如，选择活动核心数和运行频率）。这一联合空间呈组合式增长，使得穷举搜索不可行。以往大多数关于设计空间探索（DSE）的工作采用黑盒优化（BBO），如进化搜索，其中每次评估仅返回延迟和能耗等聚合指标。近期由 LLM 引导的 DSE 依赖于同样稀疏的反馈。我们观察到这限制了其效率：它无法提供对设计空间的洞察，也无法解释某个设计选择为何表现如此，并且使 LLM 的推理能力在很大程度上未被利用。我们提出 TraceDSE，一种智能体式 DSE 流程，针对异构 SoC 上的 AI 推理执行联合工作负载映射和 PU 配置选择。TraceDSE 是一个迭代的提议者-批评者循环，由系统执行轨迹形式的更丰富反馈驱动。LLM 提议者智能体生成候选映射和 PU 配置以供硬件评估。配备程序化轨迹分析工具的 LLM 批评者智能体分析轨迹以识别瓶颈并提出有针对性的改进建议。这一循环带来了对每个设计点更深入的洞察、更高质量的决策以及更有效的搜索。在 Intel Meteor Lake SoC 上的四个 AI 推理工作负载（不同复杂度的模型以及一个多模型流水线）中，TraceDSE 始终优于两个最先进的 BBO 工具，相比 NSGA-II 将帕累托前沿超体积提升高达 35%，相比贝叶斯优化提升高达 68%，同时所需的硬件评估次数减少约 6-9 倍。

评论：	发表于 2026 ACM/IEEE 国际机器学习与 CAD 研讨会（MLCAD '26），韩国济州岛，2026 年 9 月 7-9 日
主题：	硬件架构（cs.AR）；人工智能（cs.AI）
引用为：	arXiv:2610.07191 [cs.AR]
	（或 arXiv:2610.07191v1 [cs.AR] 用于此版本）
	https://doi.org/10.48550/arXiv.2610.07191 arXiv 颁发的 DOI，经由 DataCite（待注册）
期刊参考：	2026 ACM/IEEE 国际机器学习与 CAD 研讨会论文集（MLCAD '26），2026 年 9 月 7-9 日，韩国济州岛。ACM，美国纽约州纽约市，8 页
相关 DOI：	https://doi.org/10.1145/3831599.3840344 链接到相关资源的 DOI

提交历史

来自：Geetha Prasuna Yarramneni [查看电子邮件]
[v1] 2026 年 10 月 5 日星期一 18:08:58 UTC（1,794 KB）