arXiv cs.CL· Jie Wang, Tong Zhu, Jiahao Kuang, Zhe Xu, Mowen Ruan, Yunkai Chai, Yuliang Liu, Dehong Zheng, Rubin Wei, Yu Cheng, Bowen Zhou, Tao Ji, Zhouhan Lin, Qi Zhang·· 2 天前AI 评分38
ArchSpace:记录、评审与引用 LLM 架构研究的公开平台
ArchSpace: Recording, Reviewing, and Referencing LLM Architecture Research
AI 导读
ArchSpace 是一个面向 LLM 架构研究的公开平台,用于记录每项架构提案的实验与推理过程、接受社区评审并被后续工作引用。平台利用 scaling laws 从较小规模实验预测更大规模的模型 loss,以在昂贵的大规模训练前评估想法。初始参考资源包括 Qwen3.5 和 OLMo3 基线、拟合的 scaling laws 以及可复用的训练配方。
正文 · AI 翻译
作者:Jie Wang、Tong Zhu、Jiahao Kuang、Zhe Xu、Mowen Ruan、Yunkai Chai、Yuliang Liu、Dehong Zheng、Rubin Wei、Yu Cheng、Bowen Zhou、Tao Ji、Zhouhan Lin、Qi Zhang
摘要:模型架构决定了 LLM 的扩展行为、训练效率和推理成本,因而成为产业界和学术界共同关注的核心。在产业界,DeepSeek、Qwen 和 Kimi 背后的团队等会常规性地引入架构创新,但公开报告很少记录哪些想法成功了、哪些被放弃以及原因。在学术界,有限的计算资源和不一致的基线往往使评估局限于小规模、单点比较,难以确定改进在更大规模下是否依然成立,或能否转化为更广泛的影响。ArchSpace 作为用于记录、评审和引用架构研究的公共平台,同时应对这两方面的缺口:每个提案都会连同其实验和推理过程被记录,由社区评审,并被后续工作引用。为了在昂贵的大规模训练之前评估想法,ArchSpace 利用缩放定律从较小规模的实验预测更大规模下的模型损失,这一做法在产业界被广泛采用。我们提供了使平台可用的初始参考:Qwen3.5 和 OLMo3 基线、拟合的缩放定律,以及可复用的训练配方。通过这一评审得到验证的想法可以反过来成为新的基线,ArchSpace 由此旨在拓宽塑造下一代模型的想法范围。
| 学科: | 计算与语言(cs.CL);机器学习(cs.LG) |
| 引用为: | arXiv:2611.17332 [cs.CL] |
| (或本版本的 arXiv:2611.17332v2 [cs.CL]) | |
| https://doi.org/10.48550/arXiv.2611.17332 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Jie Wang [查看邮箱]
[v1]
2026年11月12日星期四 18:59:52 UTC(1,427 KB)
[v2]
2026年11月13日星期五 18:58:31 UTC(1,397 KB)
来源:arXiv cs.CL · arxiv.org