i14分享Laplace 3B在Trainium2上的训练推理实践

i14与AWS GenAIIC团队公开了Laplace 3B线性注意力模型在AWS Trainium2上使用原生PyTorch进行训练与推理的工程实践和结果。该模型采用Gated Linear Attention，推理时循环状态固定为每序列29.5 MB，不随上下文长度增长。 报道披露的训练结果截至第84,210步、约440亿token。i14称，若上下文增长推高服务成本、降低并发或限制智能体记忆，可试用i14或联系AWS账户团队评估在Trainium2上运行Laplace 3B。 报道还提示，由于BF16重结合使编译输出与eager模式略有差异，需要精确复现时应使用eager解码。

AI 根据报道生成 · 56 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。