方言阿拉伯语数学推理基准DAR-MGSM发布

Noor Abo Mokh 等作者发布 DAR-MGSM，称其为首个针对阿拉伯语方言数学推理的人工构建基准，覆盖五种主要阿拉伯方言及现代标准阿拉伯语，含纯翻译与翻译加文化本地化两个平行版本。 在 11 个阿拉伯语及多语言大语言模型上评测显示，本地化版本性能普遍下降，且阿拉伯语中心模型对本地化的敏感度各不相同。机制可解释性分析发现，同一题目的翻译版与本地化版常引发不同的内部推理轨迹，即使总体准确率相近。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。