arXiv cs.AI· Pingbang Hu, Xueshen Liu, Z. Morley Mao, Jiaqi W. Ma·· 2 天前AI 评分31
Dr. Post-Training：从数据正则化视角重新理解 LLM 后训练
Dr. Post-Training: A Data Regularization Perspective on LLM Post-Training
AI 导读
研究者提出 Dr. Post-Training（Data-Regularized Post-Training）框架，将通用训练数据视为数据诱导的正则项，而非待筛选的数据池，从而防止模型对稀缺目标数据过拟合。
正文 · AI 翻译
摘要：数据选择方法应对的是 LLM 后训练中的一个关键挑战：如何有效利用稀缺的高保真目标数据，以及大量但对齐不完美的通用训练数据。在本工作中，我们超越了数据选择的框架，提出了 Dr. Post-Training（数据正则化后训练），这是一个新颖的框架，将通用训练数据重新概念化为一种数据诱导的正则化器，用于防止对稀缺目标目标的过拟合，而不是作为选择的池子。具体而言，我们的框架提出，在每个训练步骤中，我们使用通用训练数据构建一个可行的模型更新方向集合，并将由稀缺目标数据指定的模型更新方向投影到该可行集合上。标准训练和现有的数据选择方法作为特殊情况出现，具有不同的数据诱导正则化器选择，这些方法对应于偏差-方差谱上具有不同正则化强度的不同点。基于这一观点，我们提出了一系列方法，提供了更丰富的设计空间和更灵活的偏差-方差权衡。为了实际 LLM 规模的使用，我们引入了仔细的系统优化，以最小的开销实现这些方法。在 SFT、RLHF 和 RLVR 上的广泛实验表明，我们的方法优于标准训练和最先进的数据选择基线，在通用数据和目标数据最不对齐的地方增益最大，系统基准测试证实了它们的效率。
| 主题： | 机器学习 (cs.LG)；人工智能 (cs.AI) |
| 引用为： | arXiv:2605.07063 [cs.LG] |
| （或 arXiv:2605.07063v2 [cs.LG] 为此版本） | |
| https://doi.org/10.48550/arXiv.2605.07063 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Pingbang Hu [查看电子邮件]
[v1]
2026年5月8日星期五 00:16:11 UTC (378 KB)
[v2]
2026年10月26日星期一 21:21:03 UTC (485 KB)
来源：arXiv cs.AI · arxiv.org