跳到正文
arXiv cs.AI· Zhen Gao, Xiao Yin, Kexin Liang, Pedro Reviriego, Shanshan Liu, Fabrizio Lombardi·· 10 小时前AI 评分18

二进制 Transformer 搭配近似内存:PIES 置换不变性选择性保护方案

Implementing Binary Transformers with Approximate Memories with Permutation Invariance Enabled Selective (PIES) Protection

AI 导读

研究以 BERT 为例评估二进制 Transformer 在近似内存下的可靠性,发现仅在 BER 达 5% 或 10% 时才出现大幅精度损失。为此提出 PIES 方案,利用 Transformer 对行列置换的不变性分组关键权重并做选择性保护,在 BER 高达 10% 时以远低于传统纠错方案的额外开销恢复大部分性能损失。PIES 代码已在 GitHub 开源。

正文 · AI 翻译

查看 PDF

摘要:量化是降低 Transformer 内存占用、计算复杂度和功耗的有效技术,而权重的二值化对于满足这些需求至关重要。近似内存可以进一步降低内存功耗,但也会引入错误。目前针对二值 Transformer 的研究主要关注任务性能,但模型在内存错误下的可靠运行尚未得到充分研究。本文首先以基于 Transformer 的双向编码器表示(BERT)为案例,评估二值 Transformer 的可靠性。只有在高误码率(例如 BER = 5% 或 10%)时才会出现较大的精度损失。随后,我们提出了一种新颖的置换不变性使能选择性(PIES)方案,以极低的开销保护二值权重。该方案利用 Transformer 对行和列置换的不变性,将关键权重分组,并对这些权重执行选择性保护。仿真结果表明,PIES 可以在误码率高达 10% 时恢复大部分由位错误引起的性能损失,且开销显著低于传统纠错方案。这些结果证实了在资源受限的低功耗边缘设备上使用近似内存并采用激进电压缩放来运行二值 Transformer 的可行性。PIES 的代码已在 github 上发布(此 https URL)。
学科: 机器学习 (cs.LG);人工智能 (cs.AI)
引用为: arXiv:2611.23358 [cs.LG]
  (或 arXiv:2611.23358v1 [cs.LG] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.23358

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Shanshan Liu [查看邮箱]
[v1] 2026年11月17日星期二 15:06:16 UTC (4,659 KB)

来源:arXiv cs.AI · arxiv.org