跳到正文
热点事件持续更新

Exa 在 AWS Neuron 芯片上优化嵌入推理

1 篇报道1 个报道来源46 分钟前更新

先了解这件事

AI 综述

Exa 分享了在 AWS Neuron 硬件(Inferentia2 和 Trainium2)上优化嵌入推理的实践,称最终版本相比初始基线,每百万文档嵌入的性能和成本改善了 47%。优化手段包括调整权重布局、用 autocast 降低精度、NKI 注意力内核,以及自研 weight-stationary 融合 SwiGLU MLP 内核以消除 HBM 读写停顿。 Exa 称降精度后的输出与参考结果的余弦相似度达到 0.999,满足其正确性门槛。目前优化仅覆盖美国西部(俄勒冈)区域的 Inferentia2,Exa 表示只调优一个区域的单一硬件系列存在明显局限。

AI 根据报道生成 · 27 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月19日
  1. AWS Machine Learning Blog
    Exa 借助 AWS AI 芯片将嵌入吞吐提升 50%,支撑数百亿文档索引

    Exa 在 AWS Inferentia2 和 Trainium2 上优化嵌入推理,吞吐提升约 1.5 倍(50%),用于索引数百亿网页文档。优化包括权重布局调整、autocast 降精度(输出与参考的余弦相似度达 0.999)、NKI 注意力内核,以及自研 weight-stationary 融合 SwiGLU MLP 内核消除 HBM 读写停顿。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。