arXiv cs.AI· Gabriel Wedson Mendon\c{c}a de Souza Veloso, Luan Borges Teodoro Reis Sena, Denis Oliveira Correa, Francisco Galuppo Azevedo·· 12 小时前AI 评分31
modded-nanoRT：首个 Relational Transformer 预训练竞速排行榜
Speedrunning Relational Foundation Model Pretraining
AI 导读
研究者推出 modded-nanoRT，这是首个面向 Relational Transformer 的预训练竞速排行榜，以单卡达到质量目标的实际耗时排名。其开榜配方结合类型化三线性注意力、Muon 与 SIGReg，在单块 NVIDIA H200 上 305.63 秒达标，比参考实现快 8.11x，并在开发数据库之外的 15 组对比中赢下 13 组。基准、冻结产物与纪录运行将一并开源。
正文 · AI 翻译
摘要：基础模型预训练的进展取决于谁能负担得起一次试验，关系型预训练也不例外。各种配方在各自的实验室内部开发，以私有协议报告，无法积累。速通排行榜通过去中心化搜索而非训练运行来消除这一障碍。问题固定、技术栈开放，条目按达到质量目标的实际耗时排名，一块 GPU 就足以保持纪录。我们推出 modded-nanoRT，这是首个面向关系型 Transformer 的此类排行榜。保留哪个数据库决定了该基准能否分辨出改进，因此我们通过校准来固定它，按 45 分钟学习曲线区分改进与种子噪声的锐度对六个候选进行排名。我们以类型化三线性注意力开启排行榜，这是一种关系算子，根据所遍历的外键来调节注意力分数和值，并结合 Muon 与 SIGReg。该配方在一块 NVIDIA H200 上以 305.63 秒达到目标，比参考实现快 8.11 倍，并在开发数据库之外的 15 对比较中赢得 13 对。我们将发布该基准、其冻结产物以及纪录运行。我们的代码可在 此 https URL 获取。
| 评论： | 9 页，4 幅图。已被 NeurIPS 2026 的 CODEC-FM Workshop 接收 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.28855 [cs.AI] |
| （或 arXiv:2610.28855v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.28855 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Gabriel Veloso [查看电子邮件]
[v1]
2026 年 10 月 20 日星期二 19:29:31 UTC（24 KB）
来源：arXiv cs.AI · arxiv.org