arXiv cs.AI· Yuxuan Chen, Mingwei Liu, Guangsheng Ou, Zekai Zhang, Zike Li, Yanlin Wang, Pelin Zheng·· 9 天前AI 评分22
MAP4CS：面向高效代码检索器微调的多维数据剪枝框架
MAP4CS: A Multi-dimensional Data Pruning Framework for Efficient Code Retriever Fine-tuning
AI 导读
MAP4CS 是一种自适应数据剪枝框架，通过融合语法结构、语义多样性与分布表示筛选高质量核心子集，并配合规则过滤流程。在两个大规模数据集上，它仅用 5% 训练数据即持续优于随机采样基线，性能可比甚至超过全量数据微调。分析显示，MAP4CS 能对冗余语料自动去重、对混乱语料去噪，构建词法多样且信息密集的训练语料。
正文 · AI 翻译
摘要：检索增强生成（RAG）已成为软件工程领域的基石，用于为大型语言模型（LLM）增强领域特定知识。然而，由于海量代码语料库中固有的噪声和冗余，使检索器适应不断演化的代码仓库仍然具有挑战性。在全量语料库上进行标准微调计算成本高昂，并且由于低质量样本带来的负迁移，往往导致次优性能。相反，简单的随机采样无法保证数据的代表性。
为应对这些挑战，我们提出了 MAP4CS（面向代码搜索的多维感知剪枝），一种自适应数据剪枝框架。MAP4CS 通过整合句法结构、语义多样性和分布表示，识别出一个小型、高质量的核心子集，随后经过严格的基于规则的过滤流程。在两个大规模数据集上的大量实验表明，MAP4CS 仅使用 5% 的训练数据即可持续优于随机采样基线。值得注意的是，它达到了与在全量数据集上微调相当甚至更优的性能，验证了以数据为中心的 AI 中“少即是多”的假设。此外，语言学分析揭示了一种自适应优化机制：MAP4CS 能自动对冗余语料库起到去重器的作用，对混乱语料库起到降噪器的作用，从而构建出兼具词汇多样性和信息密度的训练语料库。
| 学科： | 软件工程（cs.SE）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.11727 [cs.SE] |
| （或 arXiv:2610.11727v1 [cs.SE] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.11727 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yuxuan Chen [查看电子邮件]
[v1]
2026年10月8日星期四 11:25:50 UTC（2,692 KB）
来源：arXiv cs.AI · arxiv.org