跳到正文
热点事件持续更新

ResCom:用激活残差补偿低比特量化误差

1 篇报道1 个报道来源11 小时前更新

先了解这件事

AI 综述

Ning Yang 等作者提出 ResCom,一种低秩校正方法:利用激活舍入残差补偿大语言模型量化后的层输出误差。该方法通过输出感知校准,以闭式解选取残差方向,无需梯度训练,也不更新已校准权重。报道未给出实验数据或与其他量化方法的对比结果。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月28日
  1. arXiv cs.AI
    ResCom:用激活残差补偿提升大语言模型量化精度

    ResCom 提出一种低秩校正方法,利用激活舍入残差补偿量化后的层输出误差,通过输出感知校准以闭式解选取残差方向,无需梯度训练或更新已校准权重。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。