SPARTA:长上下文边缘推理的稀疏三值LLM加速器
热点事件持续更新
SPARTA:长上下文边缘推理的稀疏三值LLM加速器
1 篇报道1 个报道来源13 小时前更新
先了解这件事
AI 综述
Yanzhen Zhou 等作者提交论文,提出名为 SPARTA 的稀疏三值 LLM 加速器,面向长上下文边缘推理。 据论文,SPARTA 将三值稀疏矩阵乘向量(SpMM/SpMV)与位串行注意力映射到共享处理单元,并采用页级 Top-k 加 token 级 Top-p 的两阶段自适应注意力。论文称其目标是提升长上下文边缘推理效率,但未给出可核实的实测加速或精度结果。
AI 根据报道生成 · 2 小时前更新
最新进展10月27日 12:00
SPARTA:面向长上下文边缘推理的稀疏三值 LLM 加速器,统一注意力与数据通路报道时间线
沿着报道,了解事件的不同侧面。
10月27日
- arXiv cs.AISPARTA:面向长上下文边缘推理的稀疏三值 LLM 加速器,统一注意力与数据通路
SPARTA 是面向长上下文边缘推理的稀疏三值 LLM 加速器,将三值 SpMM/SpMV 与位串行注意力映射到共享处理单元,并采用页级 Top-k 加 token 级 Top-p 的两阶段自适应注意力。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。