跳到正文
热点事件持续更新

SPARTA:长上下文边缘推理的稀疏三值LLM加速器

1 篇报道1 个报道来源13 小时前更新

先了解这件事

AI 综述

Yanzhen Zhou 等作者提交论文,提出名为 SPARTA 的稀疏三值 LLM 加速器,面向长上下文边缘推理。 据论文,SPARTA 将三值稀疏矩阵乘向量(SpMM/SpMV)与位串行注意力映射到共享处理单元,并采用页级 Top-k 加 token 级 Top-p 的两阶段自适应注意力。论文称其目标是提升长上下文边缘推理效率,但未给出可核实的实测加速或精度结果。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月27日
  1. arXiv cs.AI
    SPARTA:面向长上下文边缘推理的稀疏三值 LLM 加速器,统一注意力与数据通路

    SPARTA 是面向长上下文边缘推理的稀疏三值 LLM 加速器,将三值 SpMM/SpMV 与位串行注意力映射到共享处理单元,并采用页级 Top-k 加 token 级 Top-p 的两阶段自适应注意力。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。