arXiv cs.CL· Zhaoxin Fan, Zheng Zhu, Yuqing Ma, Faguo Wu, Jian Yang, Wenjun Wu·· 11 小时前AI 评分34
Continuum-LM：面向 AI4Science 任务的连续深度大语言模型
Dynamic System Inspired Continuous Large Language Model for AI4Science Tasks
AI 导读
Continuum-LM 将预训练残差变换复用为连续深度语言模型中的动力学算子，隐藏状态通过高阶数值积分求解的常微分方程演化，由求解器阶数和步长控制计算量。在八项科学任务上，该模型在 0.6B 和 1.7B 规模下平均精确匹配准确率分别比离散对应模型提升 7.77 和 10.96 个百分点。0.6B 规模下，它在参数与残差函数评估预算匹配时也优于 Ouro 式循环控制。
正文 · AI 翻译
摘要：科学基础模型越来越多地处理连续现象，但仍使用离散残差计算。我们探究预训练残差变换能否在不扩展主干的情况下支持额外的潜在计算。为检验这一可能性，我们提出 Continuum-LM，它将这类变换复用为连续深度语言模型中的动力学算子。其隐藏状态通过由高阶数值积分求值的常微分方程演化，求解器阶数与步长控制计算量。在八项科学任务上，Continuum-LM 训练稳定，在 0.6B 和 1.7B 规模下，平均精确匹配准确率分别比离散对应模型提升 7.77 和 10.96 个百分点。在 0.6B 规模下，在参数和残差函数评估预算匹配的条件下，它还优于 Ouro 风格的循环控制。这些结果共同支持通过参数复用实现可扩展的计算深度，表明连续隐藏状态演化是科学语言模型超越参数扩展的一个实用设计维度。
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.26959 [cs.LG] |
| （或 arXiv:2610.26959v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.26959 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Jian Yang [查看邮箱]
[v1]
2026年10月18日 星期日 12:00:44 UTC（2,162 KB）
来源：arXiv cs.CL · arxiv.org