PIES方案保护二值Transformer权重
热点事件持续更新
PIES方案保护二值Transformer权重
1 篇报道1 个报道来源10 小时前更新
先了解这件事
AI 综述
Zhen Gao等作者提出PIES方案,利用Transformer对行列置换的不变性,对关键二值权重分组并选择性保护。研究以BERT为例评估二进制Transformer在近似内存下的可靠性,发现仅在误码率(BER)达5%或10%时才出现大幅精度损失;在BER高达10%时,PIES以远低于传统纠错方案的额外开销恢复大部分性能损失。PIES代码已在GitHub开源。
AI 根据报道生成 · 58 分钟前更新
最新进展11月20日 13:00
二进制 Transformer 搭配近似内存:PIES 置换不变性选择性保护方案报道时间线
沿着报道,了解事件的不同侧面。
11月20日
- arXiv cs.AI二进制 Transformer 搭配近似内存:PIES 置换不变性选择性保护方案
研究以 BERT 为例评估二进制 Transformer 在近似内存下的可靠性,发现仅在 BER 达 5% 或 10% 时才出现大幅精度损失。为此提出 PIES 方案,利用 Transformer 对行列置换的不变性分组关键权重并做选择性保护,在 BER 高达 10% 时以远低于传统纠错方案的额外开销恢复大部分性能损失。PIES 代码已在 GitHub 开源。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。