arXiv cs.AI· Qiaosheng Chen, Kaijia Huang, Fanqi Zhou, Gong Cheng·· 13 小时前AI 评分34
AgenticDS：面向模型训练的智能体数据集搜索框架
From Intent to Improvement: Agentic Dataset Search for Better Model Training
AI 导读
研究者提出 AgenticDS，一个由契约约束的智能体框架，将查询编译为类型化搜索计划，通过确定性算子执行混合检索与有界图扩展，并在接受排序前验证证据溯源。在包含 200 条查询、24,908 条分级判断的 HuDS-Bench 上，其 NDCG@10 比最强稠密-稀疏混合检索高 25.7%，比商用 LLM 智能体高 18.9%。
正文 · AI 翻译
摘要：在百万规模的机器学习仓库中寻找训练数据是一个 Web 搜索问题，仅靠文本相关性并不够。一个查询会将语义训练目标与任务、许可证和训练阶段等约束耦合在一起，而用于验证这些约束的元数据往往缺失。文本检索按相似度对数据集卡片排序，但无法强制执行硬性约束，也无法沿着关系找到描述稀疏的数据集。自由形式的工具调用智能体更灵活，但选择数据集的同一个模型同时也宣称它匹配，而没有任何机制检查查询的约束是否真正得到满足。这两种方法都无法保证其返回的数据会改善模型训练。为解决这一问题，我们提出 AgenticDS，一个由契约治理的智能体框架，其中每个语言模型决策都会在确定性代码消费之前实例化为类型化对象。该框架将查询编译为类型化搜索计划，通过混合检索和有界图扩展上的可允许确定性算子执行该计划，并在接受排序或发出仅允许局部修复的类型化诊断之前，验证基于来源的证据。在 HuDS-Bench 上——这是一个包含 200 个查询、在 15 个系统上汇总的 24,908 个分级判断的新基准——AgenticDS 相比最强的稠密-稀疏混合方法将 NDCG@10 提升了 25.7\%，相比商业 LLM 智能体提升了 18.9\%。一项受控的搜索到训练研究进一步表明，它检索到的数据集在数学、代码和医学领域给出最佳的下游准确率。代码和数据已在 此 https URL 公开可用。
| 评论： | 13 页，4 幅图 |
| 主题： | 人工智能（cs.AI）；信息检索（cs.IR） |
| 引用为： | arXiv:2610.39608 [cs.AI] |
| （或 arXiv:2610.39608v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.39608 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Qiaosheng Chen [查看电子邮件]
[v1]
2026 年 10 月 29 日星期四 08:42:49 UTC（1,038 KB）
来源：arXiv cs.AI · arxiv.org