Exa 在 AWS Neuron 芯片上优化嵌入推理
热点事件持续更新
Exa 在 AWS Neuron 芯片上优化嵌入推理
1 篇报道1 个报道来源46 分钟前更新
先了解这件事
AI 综述
Exa 分享了在 AWS Neuron 硬件(Inferentia2 和 Trainium2)上优化嵌入推理的实践,称最终版本相比初始基线,每百万文档嵌入的性能和成本改善了 47%。优化手段包括调整权重布局、用 autocast 降低精度、NKI 注意力内核,以及自研 weight-stationary 融合 SwiGLU MLP 内核以消除 HBM 读写停顿。 Exa 称降精度后的输出与参考结果的余弦相似度达到 0.999,满足其正确性门槛。目前优化仅覆盖美国西部(俄勒冈)区域的 Inferentia2,Exa 表示只调优一个区域的单一硬件系列存在明显局限。
AI 根据报道生成 · 27 分钟前更新
最新进展11月19日 07:58
Exa 借助 AWS AI 芯片将嵌入吞吐提升 50%,支撑数百亿文档索引报道时间线
沿着报道,了解事件的不同侧面。
11月19日
- AWS Machine Learning BlogExa 借助 AWS AI 芯片将嵌入吞吐提升 50%,支撑数百亿文档索引
Exa 在 AWS Inferentia2 和 Trainium2 上优化嵌入推理,吞吐提升约 1.5 倍(50%),用于索引数百亿网页文档。优化包括权重布局调整、autocast 降精度(输出与参考的余弦相似度达 0.999)、NKI 注意力内核,以及自研 weight-stationary 融合 SwiGLU MLP 内核消除 HBM 读写停顿。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。