arXiv cs.CL· Pragyan Phukan·· 10 小时前AI 评分24
AssameseLM-E2B：面向消费级部署的开源阿萨姆语模型
AssameseLM-E2B: An Open-Weight Assamese Language Model for Efficient Consumer-Grade Deployment
AI 导读
AssameseLM-E2B 及其指令微调版 AssameseLM-E2B-it 发布，这是基于 Gemma-4 架构、专为低资源阿萨姆语适配的 2B 参数开源模型。
正文 · AI 翻译
摘要：尽管大型语言模型（LLM）在高资源语言中表现出色，但由于分词效率低下、生成不稳定以及语言干扰，它们在低资源语言中的性能往往会下降。本文提出了 AssameseLM-E2B 及其指令微调变体 AssameseLM-E2B-it，这是一个专门针对低资源阿萨姆语适配的 20 亿参数模型。该模型基于 Gemma-4 架构构建，采用了扩展的字节级 BPE 词表，与多语言 2B–3B 基线相比，将分词开销降低了近 500%。我们采用参数高效的持续预训练（CPT）流程并结合 Hybrid LoRA，随后在平衡的多领域数据集上进行监督微调（SFT），以增强指令遵循和检索增强生成（RAG）能力。
评估显示，该模型在 FLORES-200 上的 Bits-per-Byte（BPB）得分为 0.7488，整体 RAG 得分为 96.7%，在对抗性不可回答提示上的拒答准确率为 100%。对比分析揭示了通用基线模型的显著局限，包括接受-产出解耦、对罗马化阿萨姆语的生成退化，以及非预期的孟加拉文字同化。这些结果表明，在受限的计算资源下，参数高效适配在开发面向低资源语言、能力出色且可本地部署的语言模型方面具有潜力。
| 学科： | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2611.06170 [cs.CL] |
| （或 arXiv:2611.06170v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.06170 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Pragyan Phukan [查看邮箱]
[v1]
2026年11月4日星期三 08:48:43 UTC（4,904 KB）
来源：arXiv cs.CL · arxiv.org