arXiv cs.AI· Mark Marosi, Peter Antal·· 10 小时前AI 评分58
研究:模型的通用进步可替代特定训练数据
General progress substitutes for specific training data in language models
AI 导读
arXiv 论文研究显示,模型在其余训练数据上的通用进步可以替代被刻意剔除的特定训练数据。作者在国际象棋、黑白棋、分子字符串、括号语言和网页文本等任务中剔除单项技能的训练信号,发现较大模型对该技能的延迟可由较小模型预测;一个从未显式训练应对将军的国际象棋模型,其合法应对排名几乎与训练过的模型相当。
正文 · AI 翻译
摘要:语言模型从训练数据中获得能力,而开发者在训练时保留部分数据,以防止模型学到可能被滥用的能力。这种保留会将某项能力的出现延迟多久,以及之后重新获得该能力需要多少数据,目前尚不清楚。在此我们表明,模型在其余训练数据上取得的总体进展可以替代被保留的数据。我们在国际象棋、黑白棋、分子字符串、括号语言和网页文本模型中,分别保留了针对各项技能的训练信号。较大模型中某项被保留技能的延迟可由较小模型预测。一个从未被明确训练应对将军的国际象棋模型,其对合法着法的排序几乎与经过此类训练的模型一样好。当随后用被保留的数据训练模型时,它们仅需从初始化开始所需数据的一小部分就获得了该技能,且这一比例随着模型进展而下降。一条同等难度的对照规则学习起来要慢得多。一个从 70 亿参数模型的训练文本中保留的编程语言,也以同样的方式被重新获得。因此,数据过滤会延迟某项能力的出现,而随着模型改进,重新获得该能力所需的数据会减少。
| 评论: | 49 页,16 幅图,6 张表。代码:此 https URL |
| 主题: | 计算与语言(cs.CL);人工智能(cs.AI) |
| 引用为: | arXiv:2611.24844 [cs.CL] |
| (或 arXiv:2611.24844v1 [cs.CL] 为此版本) | |
| https://doi.org/10.48550/arXiv.2611.24844 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Márk Marosi [查看电子邮件]
[v1]
2026 年 11 月 18 日星期三 18:07:55 UTC(1,377 KB)
来源:arXiv cs.AI · arxiv.org