arXiv cs.AI· Youngjin Jo, Jihwan Kim, Minseok Choi, Kwanghoon Choi, Jusung Kang, Jaein Kim·· 10 小时前AI 评分22
边缘 NPU 厂商引导优化基准测试：从纯 NPU 到端到端性能
Benchmarking Vendor-Guided Optimizations on Edge NPUs: From NPU Only to End-to-End Performance. Extended technical report
AI 导读
一项基准测试方法将边缘 NPU 性能拆分为 Baseline、Vendor Guided NPU Only（VG-NPU）和 Vendor Guided End-to-End（VG-E2E）三种配置，在四款边缘 NPU 和三个视觉负载上对比。
正文 · AI 翻译
摘要：边缘 NPU 的性能不仅取决于硬件能力，还取决于模型转换和整体部署流水线。我们提出一种基准测试方法，通过比较三种配置来分离这些影响：基线、仅厂商引导 NPU（VG-NPU）和厂商引导端到端（VG-E2E），其中 VG-NPU 保留通用模型 I/O 和主机侧处理，而 VG-E2E 遵循厂商原生部署流水线。我们将该方法应用于四种边缘 NPU 和三种视觉工作负载。VG-NPU 在 12 个 NPU-工作负载组合中的 10 个中同时提高了准确率和运行时调用延迟，而 VG-E2E 在所有组合中都降低了系统级延迟，但仅在四个组合中提高了准确率。此外，NPU 级性能排名并不总是与端到端排名一致，并且 VG-E2E 相比 VG-NPU 在系统级延迟上额外降低了 10.4--70.7\%。这些结果表明，在实践中比较异构商用边缘 NPU 平台时，分别在受控的模型转换和完整部署层面评估厂商引导优化的重要性。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2611.13563 [cs.AI] |
| （或 arXiv:2611.13563v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.13563 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Kwanghoon Choi [查看电子邮件]
[v1]
2026年11月10日星期二 04:31:20 UTC（121 KB）
来源：arXiv cs.AI · arxiv.org