从自产数据中泛化：超越人类约束的模型训练框架

Generalising from Self-Produced Data: Model Training Beyond Human Constraints

AI 导读

该论文提出一种让 AI 模型通过与环境的直接交互自主生成并验证新知识的框架，核心是一个不可博弈的无界数值奖励（如磁盘占用空间或粉丝数），无需人类基准即可引导学习。AI 智能体迭代生成策略和可执行代码以最大化该指标，成功结果用于自我再训练和增量泛化，并通过 GRPO 支持微调以缓解模型崩溃和冷启动问题。系统采用模块化智能体完成环境分析、策略生成与代码合成。

正文 · AI 翻译

查看 PDF HTML（实验性）

摘要：当前的大型语言模型（LLM）受限于源自人类的训练数据，并受限于单一抽象层次，这阻碍了确定性的真值判断。本文提出了一种新颖的框架，其中 AI 模型通过与环境的直接交互自主生成并验证新知识。该方法的核心是一个无界、不可作弊的数值奖励——例如附加的磁盘空间或关注者数量——它引导学习而无需人类基准。AI 智能体迭代地生成策略和可执行代码以最大化该指标，成功的结果构成自我再训练和增量泛化的基础。为缓解模型崩溃和热启动问题，该框架强调经验验证而非文本相似性，并支持通过 GRPO 进行微调。该系统架构采用模块化智能体进行环境分析、策略生成和代码合成，从而实现可扩展的实验。这项工作勾勒出一条通向自我改进 AI 系统的路径，这些系统能够超越人类施加的限制，迈向自主通用智能。

评论：	16 页，2 幅图
主题：	人工智能（cs.AI）
引用为：	arXiv:2504.04711 [cs.AI]
	（或 arXiv:2504.04711v3 [cs.AI] 为此版本）
	https://doi.org/10.48550/arXiv.2504.04711 由 DataCite 颁发的 arXiv DOI

提交历史

来自：Akira Rafhael Janson Pattirane [查看电子邮件]
[v1] 2025年4月7日星期一 03:48:02 UTC（481 KB）
[v2] 2026年9月30日星期三 12:09:11 UTC（323 KB）
[v3] 2026年10月15日星期四 06:47:24 UTC（323 KB）

来源：arXiv cs.AI · arxiv.org