跳到正文
arXiv cs.AI· Malak Gamal El-Din, Yasser Shoukry, Salma Elmalaki·· 10 小时前AI 评分31

BeFit:将模型复杂度从权重转移到 Bernstein 激活,面向资源受限传感设备

BeFit: Shifting Complexity from Weights to Bernstein Activations for Resource-Constrained Sensing

AI 导读

BeFit 是一个端到端框架,通过可学习的 Bernstein 多项式激活把模型容量从权重转移到激活函数上,并结合硬件感知 NAS、知识蒸馏与无乘法权重投影。在人体活动识别任务上,同架构 BeCNN 平均比 ReLU CNN 高 2.75 个百分点;在 TI CC3220SF 上权重投影带来平均 2.2x 加速,仅损失 0.8 pp。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:时间序列感知日益依赖神经网络,但在资源受限的微控制器上部署仍然充满挑战。激进的模型压缩会降低准确率,而将权重限制为无乘法表示会带来进一步损失。我们提出 BeFit,一个端到端框架,将模型容量从权重转移到可学习的 Bernstein 多项式激活函数。BeFit (i) 通过硬件感知的神经架构搜索找到紧凑的 Bernstein 激活卷积神经网络(BeCNN),并通过知识蒸馏训练它们;(ii) 将其权重投影为无乘法编码,冻结编码,并通过可学习激活函数恢复由此产生的准确率损失;(iii) 生成利用投影权重的模型专用内核,以实现无乘法卷积。在人体活动识别上,BeCNN 平均比相同架构的 ReLU CNN 准确率高 2.75 个百分点(pp)。在 TI CC3220SF(Cortex-M4)上,权重投影使 BeCNN 平均加速 2.2 倍,同时损失 0.8 pp,而 ReLU CNN 损失 2.4 pp。与在 TensorFlow Lite Micro 上使用 CMSIS-NN 运行的 MLPerf Tiny DS-CNN 参考模型相比,未投影的 BeCNN 准确率高 1.0 pp,延迟低 2.2 倍,闪存占用低 6.4 倍,而投影后的模型与参考准确率的差距保持在 1.0 pp 以内,运行速度快 5.9 倍。在无硬件乘法器的 RISC-V 核心上进行仿真时,相对于 DS-CNN 的指令数减少量从 Cortex-M4 上的 5.2 倍增加到 147 倍。BeFit 还可扩展到 transformer 和 MLP,在所有任务上,最终模型平均与其 float32 教师模型的差距保持在 1.56 pp 以内。
学科: 人工智能(cs.AI);硬件架构(cs.AR)
引用为: arXiv:2611.23520 [cs.AI]
  (或 arXiv:2611.23520v1 [cs.AI] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.23520

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Malak Gamal El-Din [查看电子邮件]
[v1] 2026年11月17日星期二 21:12:20 UTC(1,360 KB)

来源:arXiv cs.AI · arxiv.org