arXiv cs.CL· Ellen Su, Andres Potapczynski, Shikai Qiu, Edward Hughes, Andrew Gordon Wilson·· 11 小时前AI 评分31
用 Epiplexity 引导数据选择与生成，提升分布外泛化能力
Epiplexity Guided Data Selection and Generation for Out-of-Distribution Generalization
AI 导读
研究者将 Epiplexity（计算受限学习器可从数据中提取的结构信息量）用作在线训练信号，提出两种方法：EpiSelect 通过拟合自然数据域训练损失曲线的缩放定律预测 Epiplexity 增益，自适应调整各域采样权重；EpiGen 在无域结构的合成数据上用 REINFORCE 奖励生成器提升学习器合成数据的 Epiplexity 变化。
正文 · AI 翻译
摘要：现代系统越来越被期望能够迁移到训练期间未指定的任务上。什么样的数据有助于泛化到未预料到的场景？一种假设是，包含更多结构信息的数据可能包含共享电路和子程序，这些电路和子程序可以在更广泛的下游场景中被复用。Epiplexity 是最近提出的一种度量，用于衡量计算受限的学习者能够从数据中提取的结构信息量，它提供了一种推理这种关系的机制。由于现有的 epiplexity 估计器只能作用于训练期间已经见过的数据，我们展示了如何通过在两种场景中贪心地最大化其逐步增益，将 epiplexity 作为在线训练信号来操作化。对于数据选择，我们拟合自然数据域训练损失曲线的缩放定律，以预测作为训练 token 数函数的预期 epiplexity 增益，并使用该信号在训练期间自适应地确定各数据域的采样权重。对于不存在领域结构的合成数据生成，我们用一个学习者在合成训练数据上的 epiplexity 变化来奖励生成器，并使用 REINFORCE 策略梯度引导生成器走向 epiplexity 最大化的分布。在这两种情况下，我们发现更高的 epiplexity 预示着在零样本和微调任务上更好的下游性能，这支持了以下假设：富含结构信息的数据产生的表示能够更好地跨领域迁移。
| 评论： | EpiSelect（此 https URL）和 EpiGen（此 https URL）的代码可用 |
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2608.11746 [cs.LG] |
| （或 arXiv:2608.11746v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2608.11746 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Ellen Su [查看电子邮件]
[v1]
2026年8月12日星期三 07:38:58 UTC（854 KB）
[v2]
2026年11月4日星期三 02:17:42 UTC（324 KB）
来源：arXiv cs.CL · arxiv.org