arXiv cs.AI· Ruomeng Ding, Qianli Shen, Zhaoyang Han, Meixin Chen, Daoyuan Chen, Yaliang Li·· 3 天前AI 评分32
Agentic Data Engineering：面向 LLM 的系统设计与受控实证研究
Agentic Data Engineering for LLMs: System Design and a Controlled Empirical Study
AI 导读
研究提出 Agentic Data Engineering（ADE）框架，让 AI 智能体利用累积实验反馈自主提出、修正或组合数据工程研究方向，策略经循环内评分筛选后在留出基准上评估。
正文 · AI 翻译
摘要：LLM 数据工程需要通过迭代实验来确定数据选择、奖励和课程如何影响模型学习，这使其成为 AI-for-AI（AI4AI）研究的天然场景。智能体能否利用实验反馈逐步改进策略，由此产生的策略能否提升目标模型在留出数据上的表现？我们研究智能体如何在固定训练和评估协议下利用实验反馈来制定数据工程策略。我们的智能体数据工程（ADE）框架让智能体利用累积发现来推进、修订或组合研究方向。策略由循环内得分选出，并在留出基准上评估。在四项任务——数学与代码数据选择、数学奖励设计以及数学课程学习——中，所选策略在固定训练条件下相较通用基线取得绝对提升，在 AIME25 Pass@32 上最高达 13.34%，在四个留出基准上平均提升 5.85%。循环内得分随连续实验而提高，而留出轨迹表明，后期的循环内增益并不总能提升泛化能力。对研究组织方式和反馈获取途径的比较，支持将证据分析与累积发现相结合。研究轨迹展示了早期发现如何为跨研究方向的策略修订与组合提供依据。
| 学科： | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.14238 [cs.CL] |
| （或 arXiv:2610.14238v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.14238 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Ruomeng Ding [查看邮箱]
[v1]
2026年10月9日星期五 18:56:21 UTC（1,171 KB）
来源：arXiv cs.AI · arxiv.org