TileQuant：按权重瓦片分配精度的免训练量化框架
热点事件持续更新
TileQuant：按权重瓦片分配精度的免训练量化框架
1 篇报道1 个报道来源10 小时前更新
先了解这件事
AI 综述
Hanzhi Zhang等作者提出免训练混合精度后训练量化框架 TileQuant，把精度分配单元从整层或通道改为硬件对齐的 2D 权重瓦片：在每个投影的保留预算内，得分最高的瓦片保持 16-bit，其余用 8-bit。 该方法结合输入激活感知与梯度损失敏感度两种离线校准评分。作者报告实验达到原模型 2.66 倍的生成吞吐量，并在语言建模、推理、长上下文检索和问答任务上保持质量，多项任务超过量化模型与原模型。
AI 根据报道生成 · 1 小时前更新
最新进展11月6日 13:00
TileQuant：以 Tile 为精度分配单元的 LLM 混合精度训练后量化框架报道时间线
沿着报道，了解事件的不同侧面。
11月6日
- arXiv cs.AITileQuant：以 Tile 为精度分配单元的 LLM 混合精度训练后量化框架
TileQuant 是一个免训练框架，将精度分配给硬件对齐的 2D 权重 tile，在每个投影的保留预算内把最高分 tile 保持 16-bit、其余用 8-bit。它结合输入激活感知与梯度损失敏感度两种离线校准评分，实验达到原模型 2.66 倍的生成吞吐量，并在语言建模、推理、长上下文检索和问答任务上保持质量、多项任务超过量化模型与原模型。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。