arXiv cs.CL· Marek \v{S}uppa, Ivan Vykopal, Andrej Ridzik, Kristi\'an Sopkovi\v{c}, Nat\'alia K\v{n}a\v{z}ekov\'a, Jaroslav Kop\v{c}an, Miroslav Bl\v{s}t\'ak, Vikt\'oria Ondrejov\'a, Daniel Hl\'adek, Michal Gregor, Martin Tamajka, Mari\'an \v{S}imko·· 10 天前AI 评分23
sk-bench：面向斯洛伐克语大语言模型评测的原生优先基准
sk-bench: A Native-First Benchmark for Evaluating Large Language Models in Slovak
AI 导读
研究者发布 sk-bench，一个原生优先的斯洛伐克语基准，含 30 个数据集（33 个计分任务变体）、覆盖十类技能，其中 11 项资源为首次引入或首次打包用于生成式 LLM 评测。
正文 · AI 翻译
作者：Marek Šuppa、Ivan Vykopal、Andrej Ridzik、Kristián Sopkovič、Natália Kňažeková、Jaroslav Kopčan、Miroslav Blšták、Viktória Ondrejová、Daniel Hládek、Michal Gregor、Martin Tamajka、Marián Šimko
摘要：多语言 LLM 基准测试遗漏了斯洛伐克语——一种拥有五百万使用者、形态丰富的西斯拉夫语言——或仅通过机器翻译覆盖它。我们提出 sk-bench，一个以原生数据为先的斯洛伐克语基准，包含 30 个数据集（33 个计分任务变体），涵盖十个技能类别。其中 11 项资源是首次引入或首次打包用于生成式 LLM 评估，包括带有斯洛伐克语适配指令检查器的 IFEval-SK，以及用于斯洛伐克语语法和形态学的原生 Chiby/SKJ1 资源。我们在同一测试框架下评估了 55 个开放权重和闭源权重模型。最佳开放模型落后专有 API 12.6 分。模型排名在原生和翻译的封闭式数据上相似（$\rho\geq0.98$），不过翻译对最强模型的区分度较低。相比之下，人工编写和 LLM 生成的问答问题对模型的排名不同（$\rho=0.72$）。对于 Qwen3-14B，继续斯洛伐克语预训练使总分下降 13.9 分。少量指令集可恢复其中四分之三的损失。对于 9B 及以上的模型，测试时推理使分数提高 8.5 至 12.5 分。综合来看，这些发现为其他低资源语言提供了四条设计经验：在翻译失效之处使用原生数据，在语言适配后规划指令修复，在扩大规模前启用测试时推理，并避免过度投入目标语言提示。我们在 此 https URL 发布数据和代码
| 评论： | 已被 EMNLP 2026 Main 接收 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| ACM 分类： | I.2.7 |
| 引用为： | arXiv:2610.09152 [cs.CL] |
| （或 arXiv:2610.09152v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.09152 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Marek Šuppa [查看电子邮件]
[v1]
2026年10月6日星期二 21:51:22 UTC（236 KB）
来源：arXiv cs.CL · arxiv.org