FlyWheel：面向TPU的注意力内核

Zishuo Bao 等作者发布论文，提出面向 TPU 的注意力内核 FlyWheel，同时覆盖 softmax 注意力与线性注意力。据论文描述，该内核通过重构 softmax 与三角求逆减少向量计算、协调数据布局以提升矩阵操作数复用，并重叠独立计算来隐藏延迟。报道未给出与既有 TPU 注意力内核的对比数据或实测加速结果。

AI 根据报道生成 · 40 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。