arXiv cs.CL· Md. Rafiul Biswas, George Mikros, Wajdi Zaghouani·· 11 小时前AI 评分26
从上下文视角看压缩：阿拉伯语法律 LLM 的适配、量化与蒸馏评估
Compression Through a Context Lens: Evaluating Adaptation, Quantization, and Distillation in Arabic Legal LLMs
AI 导读
研究基于沙特阿拉伯语法律基准 ArabLegalEval，在带上下文与无上下文两种评测下考察 FANAR-9B、JAIS-8B、Qwen2.5-7B 的领域适配、量化与知识蒸馏效果。
正文 · AI 翻译
摘要：模型压缩有助于在资源受限的法律场景中部署大语言模型，但其对领域特定性能的影响可能取决于评估协议。我们使用沙特阿拉伯语法律基准 ArabLegalEval，在有上下文和无上下文两种评估方式下研究这一问题。前者提供支持性法律段落，后者在没有外部上下文的情况下评估性能。移除上下文会使基础模型的准确率差距最高达到 27 个百分点。我们考察了三个阶段：领域适应、量化和知识蒸馏，涉及 FANAR-9B、JAIS-8B 和 Qwen2.5-7B。四位量化将模型内存减少 64-71%，无上下文 MCQ 准确率的变化范围为 -3.2 到 +1.6 个百分点。蒸馏产生的结果变化更大，准确率通常随着学生模型规模减小而下降。从 FANAR 蒸馏出的 Qwen2.5-7B 学生模型达到 76.6% 的无上下文准确率，而其教师模型为 77.2%。我们的研究结果表明，在评估适应和压缩对阿拉伯语法律语言模型的影响时，无上下文评估为上下文支持的测试提供了有用的补充。
| 评论： | 2 张图，4 张表 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2611.07988 [cs.CL] |
| （或 arXiv:2611.07988v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.07988 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Md.Rafiul Biswas Dr. [查看电子邮件]
[v1]
2026 年 11 月 5 日星期四 13:15:55 UTC（1,801 KB）
来源：arXiv cs.CL · arxiv.org