跳到正文
arXiv cs.CL· Jie Wang, Tong Zhu, Jiahao Kuang, Zhe Xu, Mowen Ruan, Yunkai Chai, Yuliang Liu, Dehong Zheng, Rubin Wei, Yu Cheng, Bowen Zhou, Tao Ji, Zhouhan Lin, Qi Zhang·· 2 天前AI 评分38

ArchSpace:记录、评审与引用 LLM 架构研究的公开平台

ArchSpace: Recording, Reviewing, and Referencing LLM Architecture Research

AI 导读

ArchSpace 是一个面向 LLM 架构研究的公开平台,用于记录每项架构提案的实验与推理过程、接受社区评审并被后续工作引用。平台利用 scaling laws 从较小规模实验预测更大规模的模型 loss,以在昂贵的大规模训练前评估想法。初始参考资源包括 Qwen3.5 和 OLMo3 基线、拟合的 scaling laws 以及可复用的训练配方。

正文 · AI 翻译

作者:Jie Wang、Tong Zhu、Jiahao Kuang、Zhe Xu、Mowen Ruan、Yunkai Chai、Yuliang Liu、Dehong Zheng、Rubin Wei、Yu Cheng、Bowen Zhou、Tao Ji、Zhouhan Lin、Qi Zhang

查看 PDF HTML(实验性)

摘要:模型架构决定了 LLM 的扩展行为、训练效率和推理成本,因而成为产业界和学术界共同关注的核心。在产业界,DeepSeek、Qwen 和 Kimi 背后的团队等会常规性地引入架构创新,但公开报告很少记录哪些想法成功了、哪些被放弃以及原因。在学术界,有限的计算资源和不一致的基线往往使评估局限于小规模、单点比较,难以确定改进在更大规模下是否依然成立,或能否转化为更广泛的影响。ArchSpace 作为用于记录、评审和引用架构研究的公共平台,同时应对这两方面的缺口:每个提案都会连同其实验和推理过程被记录,由社区评审,并被后续工作引用。为了在昂贵的大规模训练之前评估想法,ArchSpace 利用缩放定律从较小规模的实验预测更大规模下的模型损失,这一做法在产业界被广泛采用。我们提供了使平台可用的初始参考:Qwen3.5 和 OLMo3 基线、拟合的缩放定律,以及可复用的训练配方。通过这一评审得到验证的想法可以反过来成为新的基线,ArchSpace 由此旨在拓宽塑造下一代模型的想法范围。
学科: 计算与语言(cs.CL);机器学习(cs.LG)
引用为: arXiv:2611.17332 [cs.CL]
  (或本版本的 arXiv:2611.17332v2 [cs.CL])
  https://doi.org/10.48550/arXiv.2611.17332

由 DataCite 颁发的 arXiv DOI

提交历史

来自:Jie Wang [查看邮箱]
[v1] 2026年11月12日星期四 18:59:52 UTC(1,427 KB)
[v2] 2026年11月13日星期五 18:58:31 UTC(1,397 KB)

来源:arXiv cs.CL · arxiv.org