arXiv cs.CL· Yaxin Luo, Jiacheng Cui, Xiaohan Zhao, Xinyi Shang, Jiacheng Liu, Xinyue Bi, Zhaoyi Li, Zhiqiang Shen·· 2 天前AI 评分27
LLMSurgeon：诊断大语言模型的预训练数据混合
LLMSurgeon: Diagnosing Data Mixture of Large Language Models
AI 导读
研究者提出 LLMSurgeon 框架，将数据混合手术（DMS）形式化为逆问题，仅凭目标 LLM 的生成文本即可在预设分类体系下估计其预训练语料的领域级分布。该方法不直接聚合分类器输出，而是估计校准的软混淆矩阵并求解约束逆问题，以纠正系统性领域混淆、还原潜在混合先验。
正文 · AI 翻译
摘要：大型语言模型（LLM）的预训练数据混合构成了其“数字 DNA”，塑造了模型的行为、能力和失效模式。然而，这种组成很少被披露，使得对数据组合或来源的事后审计变得困难。在这项工作中，我们形式化了数据混合手术（DMS）：仅给定目标 LLM 生成的文本，在预定义分类体系下估计其预训练语料的领域级分布。我们提出了 $\textbf{LLMSurgeon}$，一个强大的框架，将 DMS 视为标签偏移假设下的逆问题。LLMSurgeon 不是直接聚合分类器输出，而是估计一个校准的 $\textit{soft}$ 混淆矩阵，并求解一个受约束的逆问题，以纠正系统性的领域混淆并恢复潜在的混合先验。为了评估，我们引入了 $\textbf{LLMScan}$，一个由具有透明预训练混合的开源 LLM 构建的配方可验证评估套件。在 LLMScan 上，LLMSurgeon 在固定协议下以高保真度恢复领域混合。我们的工作提出了一种实用的、事后审计基础模型数字 DNA 的方法，无需访问其训练数据。
| Comments: | ACL 2026 Main。代码见 this https URL |
| Subjects: | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG） |
| Cite as: | arXiv:2605.30348 [cs.CL] |
| （或 arXiv:2605.30348v2 [cs.CL] 为此版本） | |
| https://doi.org/10.48550/arXiv.2605.30348 arXiv 颁发的 DOI 通过 DataCite |
Submission history
来自：Zhiqiang Shen [查看邮箱]
[v1]
2026年5月28日星期四 17:59:53 UTC（2,289 KB）
[v2]
2026年10月15日星期四 12:11:31 UTC（2,289 KB）
来源：arXiv cs.CL · arxiv.org