arXiv cs.AI· Scott Biggs, Bedionita Soro, Saumya Gupta, Bruno Andreis, Sung Ju Hwang·· 11 小时前AI 评分31
用数据条件化 Flow Matching 生成预训练 LLM 权重：一个 LLM 模型动物园
A Night at the LLM Zoo: Data Conditioned Flow Matching for Generating Pretrained LLM Weights
AI 导读
研究者构建了覆盖 51M、124M、355M 三档参数、每档 100 个 GPT-2 模型的模型动物园，系统改变网络文本、书籍、数学、代码与法语的数据混合比例。基于该动物园，他们将数据混合组成嵌入 Gram-PCA 压缩权重空间，用 Flow Matching 生成完整预训练 LLM 权重，并在留出混合上实现零样本泛化，下游困惑度与通用能力基准分数变化极小。全部代码与产物已开源。
正文 · AI 翻译
摘要：权重空间学习从特定任务和视觉模型扩展到大型语言模型（LLM）时面临的一个挑战是，缺乏一个精心整理和分析的 LLM 种群。为解决这一问题，我们训练了这样一个模型动物园，用于权重空间生成，方法是在 51M、124M 和 355M 参数的 GPT-2 模型种群中，系统地改变网络文本、书籍、数学、编程和法语之间的数据混合组成，每个层级数量 N = 100。我们通过余弦相似度、功能多样性、留一混合建模和方差分解来分析这些种群。我们表明，该动物园包含多样化的模型，其变化由训练混合组成所结构化。我们将训练混合组成嵌入，以在 Gram-PCA 压缩的权重空间中条件化一个完整预训练 LLM 权重的流匹配模型。通过展示对留出混合的零样本泛化、测量连续排序概率分数技能，以及发现下游测试集困惑度和通用能力基准分数的极小变化，我们表明我们的生成器在数据混合的单纯形上泛化，能够从无到有地生成与动物园中模型表现相似的模型。最后，我们产出所有源代码和工件，以支持权重空间学习和生成在 LLM 领域的持续扩展。
| 评论： | 预印本 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.07103 [cs.LG] |
| （或 arXiv:2611.07103v1 [cs.LG] 为此版本） | |
| https://doi.org/10.48550/arXiv.2611.07103 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Scott Biggs [查看电子邮件]
[v1]
2026年11月4日星期三 20:16:34 UTC（1,276 KB）
来源：arXiv cs.AI · arxiv.org