arXiv cs.AI· Yousef Sadegheih, Dorit Merhof, Muhammad Usman·· 9 天前AI 评分22
DEX:面向高能效 MSDF 神经网络推理的数字级提前退出机制
DEX: Digit-Level Early Exit for Energy-Efficient MSDF Neural Network Inference
AI 导读
针对量化 U-Net 脑肿瘤分割,研究者提出 MSDF 加速器 DEX,通过数字级提前退出等四种运行时机制,在 BraTS 上把数字周期减少 38.38%,平均 Dice 达 80.58%(浮点模型为 81.20%)。
正文 · AI 翻译
摘要:用于脑肿瘤分割的 U-Net 推理需要数十亿次乘累加运算,这促使人们设计能够动态减少计算量、而非仅依赖固定精度或静态模型压缩的硬件。最高有效位优先(MSDF)算术在计算过程中暴露结果的前导数字,从而能够在完整数值生成之前做出依赖输出的决策。本文提出了一种用于量化 U-Net 分割的 MSDF 加速器,其采用支持有符号 INT8 操作数和流内偏置累加的两级分组处理单元。四种运行时机制直接作用于输出数字流:ReLU 层中的精确提前负值检测(END)、分割头中的精确仅符号决策、校准的低位数字跳过,以及校准的剪枝。这两种近似机制在精度约束下离线选择,而执行时仅需轻量级控制,且不修改存储的权重。在用于 BraTS 的 nnU-Net 训练的残差 U-Net 上,所提出的机制将数字周期减少 38.38\%,同时在 73 个留出病例上达到 80.58\% 的平均 Dice 分数,而浮点模型为 81.20\%;仅精确机制即可将周期减少 18.79\%,且不改变量化输出。该处理单元采用 45~nm 工艺综合,工作频率为 500~MHz,占用 0.858~mm$^2$,在带开关活动标注的功耗分析下,每个 $192\times192$ 图像块消耗 0.726~mJ。一个采用共享激活传递的预计八输出加速器可实现 16.6~ms 延迟和每图像块 1.67~mJ 的能耗。
| 学科: | 硬件架构(cs.AR);人工智能(cs.AI);机器学习(cs.LG) |
| 引用为: | arXiv:2610.11748 [cs.AR] |
| (或 arXiv:2610.11748v1 [cs.AR] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2610.11748 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Muhammad Usman [查看电子邮件]
[v1]
2026年10月8日星期四 11:39:01 UTC(3,477 KB)
来源:arXiv cs.AI · arxiv.org