arXiv cs.AI· Jialin Chen, Xiaochen Zhao, Aili Wang·· 23 小时前AI 评分22
DAQ:面向脉冲 Transformer 的决策对齐训练后量化方法
DAQ: Decision-Aligned Post-Training Quantization for Spiking Transformers
AI 导读
研究者提出决策对齐训练后量化方法 DAQ,通过校准量化器使脉冲神经元的发放决策与浮点参考模型对齐,在 4-bit 权重与膜变量下保持发放行为。在 FE108 数据集上,DAQ 配合 SDTrack 取得 58.8% AUC 和 90.9% PR,同时降低 66.2% 能耗。该方法在图像分类、语义分割和事件驱动跟踪的多类脉冲 Transformer 架构上验证有效。
正文 · AI 翻译
摘要:脉冲 Transformer 将基于注意力的表示学习与稀疏脉冲通信相结合,但其权重和膜变量仍会带来大量的存储与计算开销。训练后量化(PTQ)为降低这些开销提供了一种实用途径,但在权重和膜量化下保持神经元发放仍然具有挑战性。本文提出决策对齐训练后量化(DAQ),该方法校准量化器,使神经元发放决策与浮点参考模型的发放决策保持一致。我们分析了这些量化器产生的误差如何影响决策边界处的发放,以及这些误差如何在循环神经元中随时间步传播。基于该分析,我们构建了一个目标函数,促使量化后的膜变量沿量化模型自身的状态轨迹保持在参考发放区域内。在图像分类、语义分割和基于事件的跟踪任务上,跨多种脉冲 Transformer 架构的实验证明了 DAQ 在 4 位权重和膜变量下的有效性。在 FE108 上,DAQ 配合 SDTrack 实现了 58.8\% AUC 和 90.9\% PR,同时将能耗降低了 66.2\%。
| 学科: | 人工智能(cs.AI);机器学习(cs.LG) |
| 引用为: | arXiv:2611.22611 [cs.AI] |
| (或 arXiv:2611.22611v1 [cs.AI] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.22611 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Xiaochen Zhao [查看邮箱]
[v1]
2026年11月17日 星期二 11:25:44 UTC(3,872 KB)
来源:arXiv cs.AI · arxiv.org