arXiv cs.CL· Peng Sun, Yi Yang, Mingshuo Chen, Chunxiao Li, Yao Zhu, Huawen Shen, Tianfan Fu·· 10 小时前AI 评分31
QMAC：将数据选择重新定义为语义流形上的分布匹配
Rethinking Data Selection as Distribution Matching on Semantic Manifolds
AI 导读
QMAC 提出一种质量感知的多频带特征函数匹配方法，将数据选择建模为分布匹配与质量过滤的联合优化问题，在多个频率尺度上匹配所选子集与全量数据的经验特征函数。研究覆盖 4 种数据类型、8 个目标模型和 44 个 benchmark，QMAC 在标准图文指令数据上优于现有数据选择基线，并在文本指令、图文推理和文本推理数据上大幅超过随机选择，在多种模型与预算组合下超过全量数据训练。
正文 · AI 翻译
摘要：大型语言模型和大型视觉语言模型的指令微调依赖于海量训练数据，这会带来大量的计算和存储成本。同时，训练数据往往包含冗余、噪声和低质量样本。现有的数据选择方法大多依赖多样性、重要性或两者的结合，而没有在嵌入空间中显式约束所选子集与全量数据之间的分布一致性。我们提出 QMAC，一种质量感知的多频带特征函数匹配方法，将数据选择建模为分布匹配与质量过滤的联合优化问题。QMAC 在多个频率尺度上匹配所选子集与全量数据的经验特征函数，从而同时捕捉全局语义覆盖和局部扰动，并利用任务相关的质量分数过滤噪声和低质量样本。我们在 4 种数据类型、8 个目标模型和 44 个基准上系统评估了 QMAC。实验结果表明，QMAC 在标准图文指令数据上优于现有的数据选择基线，在标准文本指令、图文推理和文本推理数据上大幅超越随机选择，并在多种模型与预算组合下超过全量数据训练。论文被接收后代码将公开。
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2611.08495 [cs.LG] |
| （或 arXiv:2611.08495v1 [cs.LG] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2611.08495 由 DataCite 颁发 arXiv DOI |
提交历史
来自：Peng Sun [查看邮箱]
[v1]
2026年8月5日星期三 04:07:16 UTC（17,414 KB）
来源：arXiv cs.CL · arxiv.org