arXiv cs.AI· Zucan Lyu, Rui Tang, Jianlyu Chen, Peisheng Jin, Defu Lian·· 3 天前AI 评分38
SYNTRA：自改进数据合成实现嵌入模型的可扩展适配
Self-improving data synthesis enables scalable adaptation of embedding models
AI 导读
SYNTRA 是一种检索数据合成方法，通过自改进循环利用试验输出反馈迭代优化可复用的合成指令，仅需无标注语料和少量相关查询-文档对。在覆盖 15 个领域的 24 个检索数据集上，合成数据提升了多个强嵌入模型的表现；自改进在全部 6 项评测任务上改善检索，其中 4 项超过人工校准，MS MARCO 上训练数据扩至初始规模 32 倍时性能持续提升。
正文 · AI 翻译
摘要：将嵌入模型适配到新任务需要能够反映特定任务信息需求和相关性标准的训练数据。然而，人工设计数据成本高昂且难以扩展。在此我们提出 SYNTRA，一种新颖的检索数据合成方法，其自我改进循环利用对试验输出的反馈，迭代地优化可复用的合成指令。该过程仅需一个未标注语料库和少量相关查询-文档对。在涵盖 15 个领域的 24 个检索数据集上的实验证明了所合成数据的有效性。这些数据还能提升广泛使用的强大嵌入模型在已有和没有标注训练集的任务上的表现。自我改进在全部六个评估任务上增强了检索效果，并在四个任务上优于人工校准。此外，随着我们将训练数据集扩展到初始规模的 32 倍，MS MARCO 上的检索性能持续提升。总体而言，SYNTRA 以极少的人工干预，实现了嵌入模型跨领域和跨任务的可扩展适配。
| 评论： | 30 页，6 幅图；包含补充信息（27 页）。代码：此 https URL 数据：此 https URL |
| 主题： | 信息检索（cs.IR）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.14730 [cs.IR] |
| （或 arXiv:2610.14730v1 [cs.IR] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.14730 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Zucan Lyu [查看电子邮件]
[v1]
2026 年 10 月 10 日星期六 08:50:48 UTC（31,557 KB）
来源：arXiv cs.AI · arxiv.org