arXiv cs.CL· Zile Yang, Ling Li, Na Di, Jinlong Pang, Yao Zhou, Hao Cheng, Bo Han, Jiaheng Wei·· 3 天前AI 评分24
用规则引导的 LLM 重构回收低质量指令数据
Reclaiming Low-Quality Instruction Data with Rule-Guided LLM Reconstruction
AI 导读
研究者提出规则引导的 LLM 重构框架，从 123,786 条低分样本中构建出 54,888 条训练样本，在三个 7B/8B 基础模型上平均下游表现优于低分源数据及所有评估过的数据选择基线。该数据仅约 300K 全量数据的一小部分，却在三个基础模型上均取得高于全量数据训练的平均分。消融实验显示规则引导重构是相对直接融合的最大增益来源，人工审查也指出其在来源整合与答案忠实度上仍有局限。
正文 · AI 翻译
摘要：用于监督微调（SFT）的数据选择通常会丢弃可能保留有用监督信息的低分指令样本。我们提出了一种规则引导的 LLM 重构框架来回收这些信息。该框架通过基于 LLM 的评分和分数校正来识别低分样本，选择具有语义代表性的来源，并通过策略引导生成、基于标准的验证和失败引导修复来重构指令-响应对。从 123,786 个低分样本中，它构建了 54,888 个训练样本。在三个 7B/8B 基础 LLM 上，重构数据取得的平均下游性能高于低分源数据集以及所有评估的数据选择基线。尽管使用的样本数量远少于完整源数据集（约 300K），但它在所有三个基础模型上报告的平均分数均高于全数据训练。逐步消融实验表明，规则引导重构是相对于直接融合所观察到改进的最大来源，而人工审计则揭示了在来源整合和答案忠实度方面仍存在的局限。这些发现支持将重构作为基于选择的 SFT 数据整理的一种补充方法。
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2510.23160 [cs.CL] |
| （或使用 arXiv:2510.23160v2 [cs.CL] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2510.23160 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Zile Yang [查看电子邮件]
[v1]
2025年10月27日 星期一 09:39:22 UTC（4,852 KB）
[v2]
2026年10月14日 星期三 14:53:40 UTC（6,594 KB）
来源：arXiv cs.CL · arxiv.org