arXiv cs.CL· Mario Prignano, Gabriele Cirillo, Alessio Morosini, Luca Cerovaz, Alessandro Bartolocci, Emanuele Rodol\`a, Giulio Starace, Francesco Pappone·· 9 小时前AI 评分58
Limite 1B - Violetto 技术报告:10 亿参数数学推理模型开源发布
Limite 1B - Violetto: Technical Report
AI 导读
Limite 1B - Violetto 是一个面向高吞吐数学推理的 10 亿参数模型,从零在 2370 亿 token 的数学语料上训练,支持最长 131k token 上下文。
正文 · AI 翻译
摘要:我们提出 Limite 1B - Violetto,一个为高吞吐量数学推理设计的十亿参数模型。Limite 从零开始训练,使用来自精心策划、以数学为中心的语料库的 2370 亿个 token,并支持长达 131k token 的上下文长度。其架构和训练方案是共同开发的,旨在最大化推理能力,同时保持训练和推理成本低廉。后训练结合了知识蒸馏、有针对性的监督微调和在精心策划课程上的 RLVR。Limite 在 AIME 2026 上达到 94.01%,在 BeyondAIME 上达到 74.25%,在我们的评估套件中,其表现可与规模数倍于它的模型相媲美。该模型有意只进行了轻度的指令微调:它主要被设计为单轮数学求解器,以及大型系统中快速、并行的组件,而非通用助手。我们以 Apache 2.0 许可证发布该模型、其基础和价值检查点,以及一个优化的服务实现。
| 评论: | 36 页。模型、检查点和服务代码:此 https URL |
| 主题: | 计算与语言 (cs.CL);机器学习 (cs.LG) |
| 引用为: | arXiv:2611.21646 [cs.CL] |
| (或 arXiv:2611.21646v1 [cs.CL] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.21646 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Mario Prignano [查看电子邮件]
[v1]
2026 年 10 月 14 日星期三 13:49:22 UTC(1,430 KB)
来源:arXiv cs.CL · arxiv.org