arXiv cs.AI· Hossam Elsafty, Tobias Deu{\ss}er, Lorenz Sparrenberg, Rajkumar Ramamurthy, Rafet Sifa·· 1 天前AI 评分22
Jev 在阿拉伯语任务上的评测：对比决策模型与 LLM 在标准语和方言上的表现
Evaluating Jev on Arabic: Comparing Decision Models and LLMs Across Arabic Tasks and Dialects
AI 导读
研究用统一零样本协议评测了 67 个系统（47 个决策模型与 20 个 LLM）在 9 类任务家族共 43 项阿拉伯语任务上的表现，Jev 1.14.0 的平均任务主指标为 69.24，高于 Jev 1.13.0 的 68.77，但低于 Gemma-4-31B 的 71.81。
正文 · AI 翻译
摘要：Jev 在阿拉伯语任务上与其他系统相比表现如何，其性能在现代标准阿拉伯语（MSA）与方言之间又有何变化？我们采用共享的零样本协议，在 9 个任务族的 43 项任务上评估了 67 个系统，包括 47 个决策模型和 20 个大语言模型（LLM）。以阿拉伯语为中心的冻结套件在三个平行资源中包含英语对照，我们还在单独的描述性比较中将其移除。Jev 1.14.0 在乘以 100 的量表上取得 69.24 的平均任务主指标，而 Jev 1.13.0 为 68.77，Gemma-4-31B 为 71.81，后者是该汇总指标上得分最高的系统。移除记录的英语对照、重复的跨任务项目或两者兼除，均不改变完整的系统排序。Jev 各版本之间的相对性能和增益因任务族而异。在 Jev 1.14.0 内部的内容匹配比较中，四个数据集上汇总的方言减 MSA 准确率差距范围为 -7.94 至 -0.35 个百分点；方言特定结果显示出更大的差异，且 SIB-200 的源聚类区间包含零。与 Jev 1.13.0、Gemma-4-31B 和 Jais-2-8B 的配对对比显示，在同时考虑不确定性的情况下，Jev 1.14.0 的巴勒斯坦银行惩罚大于任一 LLM；其他差距对比仍无定论。这些描述性发现表明，为何应将汇总得分与任务族结果、覆盖范围和匹配语言比较一并解读。它们并未建立关于方言鲁棒性的通用模型排名，也未解释所观察到的差距的原因。
| 评论： | 28 页，包括参考文献和附录 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.10802 [cs.CL] |
| （或 arXiv:2611.10802v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.10802 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Hossam Elsafty [查看电子邮件]
[v1]
2026 年 11 月 7 日星期六 15:30:03 UTC（104 KB）
[v2]
2026 年 11 月 12 日星期四 00:13:39 UTC（126 KB）
来源：arXiv cs.AI · arxiv.org