跳到正文
arXiv cs.AI· Yousef Sadegheih, Dorit Merhof, Muhammad Usman·· 9 天前AI 评分22

DEX:面向高能效 MSDF 神经网络推理的数字级提前退出机制

DEX: Digit-Level Early Exit for Energy-Efficient MSDF Neural Network Inference

AI 导读

针对量化 U-Net 脑肿瘤分割,研究者提出 MSDF 加速器 DEX,通过数字级提前退出等四种运行时机制,在 BraTS 上把数字周期减少 38.38%,平均 Dice 达 80.58%(浮点模型为 81.20%)。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:用于脑肿瘤分割的 U-Net 推理需要数十亿次乘累加运算,这促使人们设计能够动态减少计算量、而非仅依赖固定精度或静态模型压缩的硬件。最高有效位优先(MSDF)算术在计算过程中暴露结果的前导数字,从而能够在完整数值生成之前做出依赖输出的决策。本文提出了一种用于量化 U-Net 分割的 MSDF 加速器,其采用支持有符号 INT8 操作数和流内偏置累加的两级分组处理单元。四种运行时机制直接作用于输出数字流:ReLU 层中的精确提前负值检测(END)、分割头中的精确仅符号决策、校准的低位数字跳过,以及校准的剪枝。这两种近似机制在精度约束下离线选择,而执行时仅需轻量级控制,且不修改存储的权重。在用于 BraTS 的 nnU-Net 训练的残差 U-Net 上,所提出的机制将数字周期减少 38.38\%,同时在 73 个留出病例上达到 80.58\% 的平均 Dice 分数,而浮点模型为 81.20\%;仅精确机制即可将周期减少 18.79\%,且不改变量化输出。该处理单元采用 45~nm 工艺综合,工作频率为 500~MHz,占用 0.858~mm$^2$,在带开关活动标注的功耗分析下,每个 $192\times192$ 图像块消耗 0.726~mJ。一个采用共享激活传递的预计八输出加速器可实现 16.6~ms 延迟和每图像块 1.67~mJ 的能耗。
学科: 硬件架构(cs.AR);人工智能(cs.AI);机器学习(cs.LG)
引用为: arXiv:2610.11748 [cs.AR]
  (或 arXiv:2610.11748v1 [cs.AR] 用于此版本)
  https://doi.org/10.48550/arXiv.2610.11748

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Muhammad Usman [查看电子邮件]
[v1] 2026年10月8日星期四 11:39:01 UTC(3,477 KB)

来源:arXiv cs.AI · arxiv.org