arXiv cs.AI· Jophin John, Michael Hoffmann, Piroska Lendvai, Florent Dufour·· 3 天前AI 评分22
轻量但语言公平吗？巴伐利亚语、德语与英语间的量化鲁棒性
Lightweight but Linguistically Fair? Quantisation Robustness across Bavarian, German, and English
AI 导读
研究用 BAVGROUND 基准（206 道源题对齐巴伐利亚语、标准德语和英语）测试 14 个 7B–10B 开源指令模型，比较 BF16 与 8-bit GPTQ 及 GPTQ、AWQ 两种 4-bit 设置。
正文 · AI 翻译
摘要：训练后量化降低了大语言模型的内存开销，但压缩是否能像标准语言那样可靠地保留地区变体的语言能力，目前仍不清楚。我们使用 BAVGROUND 这一多项选择基准，针对巴伐利亚语、标准德语和英语研究这一问题，其中 206 道源问题在三种语言间对齐。在 14 个开放权重的 7B--10B 指令模型上，我们将 BF16 与 8 位 GPTQ 以及两种 4 位设置（GPTQ 和 AWQ）进行比较。8 位 GPTQ 与 BF16 保持接近，并在很大程度上保留了三种语言的相对表现，而 4 位量化则被发现稳定性差得多。两种 4 位方法使平均准确率降低约 1.4--1.5 个百分点，并改变了 11.9--16.0% 的 BF16 决策，且变化集中在 BF16 模型本就不确定的样本上。这种不稳定性并未转化为一致的巴伐利亚语劣势。尽管巴伐利亚语作为一种低资源方言，其基线准确率低于德语和英语，但在 4 位下受影响最大的语言因模型和量化方法而异。校准进一步塑造了这些跨语言效应：巴伐利亚语--德语的相对效应随校准语言而变化，而改变校准来源对 GPTQ-4 的平均影响很小，但对 AWQ-4 的影响可能强得多。对五个模型的自由形式评估进一步表明，即使在多项选择准确率变化不大的设置下，4 位压缩也可能降低生成回复的质量，而 8 位 GPTQ 则相对稳定。总体而言，我们的结果表明，地区语言变体的量化鲁棒性取决于模型、量化方法、校准数据和评估设置，不能仅通过聚合的多语言准确率来衡量。
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.18343 [cs.CL] |
| （或 arXiv:2610.18343v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.18343 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Jophin John [查看邮箱]
[v1]
2026年10月13日星期二 13:15:59 UTC（127 KB）
来源：arXiv cs.AI · arxiv.org