arXiv cs.CL· Guangzeng Han, Xiaolei Huang·· 2 天前AI 评分27
什么样的指令微调数据才算好？一项基于上下文学习视角的研究
What Makes Good Instruction-Tuning Data? An In-Context Learning Perspective
AI 导读
研究者提出基于加权上下文影响（wICI）的指令数据选择框架，通过衡量候选样本对语义相近样本降低指令遵循难度的程度来筛选数据。在多个模型和基准上，该方法在受限数据预算下持续优于现有基线，并发现样本难度与上下文影响呈负相关。该工作已被 ACL 2026 主会接收。
正文 · AI 翻译
摘要：指令微调数据集通常包含大量冗余和低质量样本，因此需要有效的数据选择方法。我们提出了一种基于加权上下文影响（wICI）的指令数据选择框架，该框架衡量每个候选示例在多大程度上能有效降低语义相关同类样本的指令遵循难度。通过系统性实验，我们回答了三个关键问题：从上下文视角看，什么构成有效的指令微调数据；样本难度是否与上下文影响相关；以及上下文影响如何转化为指令微调效果。在多个模型和基准上的实验表明，在受限的数据预算下，我们的方法始终优于现有基线，同时从经验上表明样本难度与上下文影响呈负相关。
| 评论： | ACL 2026，主会议 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2604.25132 [cs.CL] |
| （或 arXiv:2604.25132v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2604.25132 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Guangzeng Han [查看电子邮件]
[v1]
2026年4月28日星期二 02:09:28 UTC（685 KB）
[v2]
2026年10月15日星期四 04:18:21 UTC（685 KB）
来源：arXiv cs.CL · arxiv.org