arXiv cs.CL· Houssam Eddine Boukhalfa, Mourad Bouache, Mourad Dahmane·· 12 小时前AI 评分31
AQL-Lite：通过以数据为中心的持续预训练为阿拉伯语 LLM 实现高效知识获取
AQL-Lite: Enabling Efficient Knowledge Acquisition for Arabic LLMs via Data-Centric Continual Pretraining
AI 导读
AQL-Lite 框架通过质量优先的数据筛选流程与部分参数持续预训练，将多语言 LLM 适配到现代标准阿拉伯语。在 1B token 预算下，AQL 精选数据使四项阿拉伯语基准平均分比原始网络文本提升 3.51 分；5B token 对比中，AQL-Lite 以 52% 的实际耗时恢复全参数 CPT 94% 的增益（平均 73.19 对 73.58）。
正文 · AI 翻译
摘要：训练阿拉伯语大语言模型面临来自嘈杂网络数据、方言差异以及持续预训练（CPT）高成本的挑战。我们提出 AQL-Lite（AQL：阿拉伯语质量语言），一个用于将多语言 LLM 适配到现代标准阿拉伯语（MSA）的时间与资源高效框架。AQL-Lite 将质量优先的整理流水线（结构清洗、启发式与基于模型的过滤、MSA 筛选和去重）与部分参数 CPT 方案相结合，该方案在网络中训练 RS-LoRA 适配器，同时训练最后八个 transformer 块和嵌入矩阵，并采用逐层学习率。在匹配的 1B token 预算下，基于 AQL 整理数据的 CPT 使四项基准的阿拉伯语平均值比基于原始网络文本的 CPT 高出 3.51 分，而后者相较基础模型没有提升。在受控的 5B token 对比中，AQL-Lite 在 52% 的实际耗时内恢复了全参数 CPT 增益的 94%（平均值 73.19 对 73.58），并在每项基准上优于仅适配器基线，组件消融表明适配器、解冻块和嵌入训练各有贡献。扩展到 40B MSA token 并在 100 万个示例上进行指令微调后，所得 12B 模型在七项基准的 Open Arabic LLM Leaderboard v2（OALL v2）套件上得分为 75.3。这些结果表明，在精心整理的语料上进行部分参数 CPT 是实现高效 MSA 适配的实用途径。
| 评论： | 15 页，7 幅图，10 张表 |
| 主题： | 计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.30344 [cs.CL] |
| （或 arXiv:2610.30344v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.30344 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Houssam Eddine Boukhalfa [查看电子邮件]
[v1]
2026 年 10 月 21 日星期三 19:04:28 UTC（930 KB）
来源：arXiv cs.CL · arxiv.org