大语言模型的数据策略：训练全生命周期的统一视角

Data Strategies for Large Language Models: A Unified Perspective on the Training Lifecycle

AI 导读

这篇综述将 LLM 训练全生命周期的数据策略统一表述为在候选样本上分配训练预算的策略，并按决策粒度、模型依赖性和时间自适应性对方法进行分类。细粒度或状态依赖的策略控制力更强，但会带来额外的打分、搜索或 rollout 成本；跨模型规模的可迁移性和可比的端到端成本证据仍然有限。论文附带持续更新的论文列表与公开实现。

正文 · AI 翻译

查看 PDF HTML（实验性）

摘要：数据策略在训练大语言模型（LLM）中起着核心作用。它决定训练数据的选择、加权和调度，从而决定模型在固定数据预算下能够获得的能力。我们将高质量数据视为具有高训练相关效用，这种效用取决于目标、模型及其训练状态，而非仅取决于文本本身。该领域的研究现已涵盖预训练和后训练，但相关思路使用不一致的术语和评估协议。本文综述了训练生命周期中的数据策略，并将其表述为在候选样本上分配训练预算的策略。我们按决策粒度、模型依赖性和时间自适应性对方法进行组织，然后比较其计算需求和实证支持。细粒度或状态依赖的策略提供更多控制，但会带来额外的评分、搜索或 rollout 成本。跨模型规模迁移和可比端到端成本的证据仍然有限。持续更新的论文列表及其公开实现见此 https URL。

评论：	21 页，5 幅图
主题：	计算与语言（cs.CL）
引用为：	arXiv:2610.21681 [cs.CL]
	（或 arXiv:2610.21681v1 [cs.CL] 用于此版本）
	https://doi.org/10.48550/arXiv.2610.21681 由 DataCite 颁发的 arXiv DOI（待注册）

提交历史

来自：Yuanjian Xu [查看电子邮件]
[v1] 2026 年 10 月 15 日星期四 11:08:14 UTC（7,371 KB）

来源：arXiv cs.CL · arxiv.org