研究者推出关系型Transformer预训练竞速榜modded-nanoRT

研究者 Gabriel Wedson Mendonça de Souza Veloso 等人提出 modded-nanoRT，称这是首个面向 Relational Transformer 的预训练竞速排行榜，按单卡达到质量目标的实际耗时排名。 其开榜配方结合类型化三线性注意力、Muon 与 SIGReg，在单块 NVIDIA H200 上 305.63 秒达标，比参考实现快 8.11x，并在开发数据库之外的 15 组对比中赢下 13 组。作者称单卡即可持有纪录，基准、冻结产物与纪录运行将一并开源。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。