arXiv cs.CL· Mengyao Lyu, Yan Li, Huasong Zhong, Hui Chen, Jungong Han, Guiguang Ding, Zhenheng Yang·· 12 小时前AI 评分38
SSR：面向百万级多模态指令微调的极简数据选择策略
An Embarrassingly Simple Data Selection Strategy for Million-Scale Multi-Modal Instruction-Tuning
AI 导读
研究者提出 SSR 数据选择策略，用交互风格表征结构多样性、将数据质量分解为能力维度得分，并把选择转化为能力—风格网格上的子模覆盖最大化问题。在 LLaVA-1.5 与 LLaVA-OneVision 两套架构、14 个多模态基准上，SSR 仅用 2.6M 数据池的 30% 即达到全量数据 99.1% 的性能，是首个在百万级规模验证的数据选择方法，其画像模型与子集可跨数据池和架构免训练迁移。
正文 · AI 翻译
摘要：近期研究表明，预训练大语言模型（LLM）在指令微调时仅需少量但经过精心筛选的数据。在 LLM 的基础上，多模态模型还需应对规模大得多的数据量、异构来源以及跨模态对齐问题，这既放大了数据选择的必要性，也增加了其复杂性。然而，现有方法依赖深度提取的嵌入、梯度或狭窄的质量分数，计算耗时且表达能力有限，往往无法超越简单的随机采样基线。为克服这些局限，我们退离复杂的嵌入空间，转而聚焦指令微调的根本目标：应当从预训练模型中引出何种知识、以何种方式引出，并呈现给用户。我们利用交互\underline{S}tyle（风格）作为结构多样性的代理，并将数据质量分解为能力特定的\underline{S}core（分数），从而为每个样本生成显式而\underline{R}ich（丰富）的画像（SSR）。我们进一步将选择问题建模为能力—风格网格上的子模覆盖最大化问题，并给出近似保证。SSR 在两种不同的架构栈 LLaVA-1.5（Vicuna + CLIP）与 LLaVA-OneVision（Qwen2 + SigLIP）、两个大规模数据池、六种数据预算设置以及 14 个多模态基准上均持续取得更优性能。据我们所知，SSR 是首个在百万规模上得到验证的数据选择方法，仅使用 260 万数据池中 30% 的数据即达到全量数据性能的 99.1%。此外，SSR 画像模型与所选子集可跨数据池和模型架构免训练迁移，并具备能力可扩展性。
| 评论： | 已被 EMNLP 2026 主会议接收（口头报告） |
| 学科： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI）；计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2503.13383 [cs.CV] |
| （或此版本的 arXiv:2503.13383v2 [cs.CV]） | |
| https://doi.org/10.48550/arXiv.2503.13383 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Mengyao Lyu [查看邮箱]
[v1]
2025年3月17日 星期一 17:11:22 UTC（4,281 KB）
[v2]
2026年10月27日 星期二 14:31:21 UTC（3,061 KB）
来源：arXiv cs.CL · arxiv.org