arXiv cs.CL· Yeonkyoung So, Jongmin Kim, Sungmok Jung, Gyuseong Lee, Sangho Kim, Jongyeon Park, Joonhak Lee, Seho Pyo, Gyeongje Cho, Seorin Kim, Jisoo Kim, Suyoung Park, Hyunji M. Park, Yelim Ahn, Yeongho Seo, Jaejin Lee·· 2 天前AI 评分22
KBS：面向基础模型评估的韩语基准套件
KBS: A Korean Benchmark Suite for Foundation Model Evaluation
AI 导读
研究者发布韩语基准套件 KBS，包含 Ko-ARC、Ko-GSM8K、Ko-EQ-Bench、Ko-WinoGrande、Ko-LAMBADA 和 Ko-IFEval 六项任务，共 9,396 道题，覆盖六种能力，采用审校、本地化、直接构建与重新设计而非纯翻译的方式适配韩语。
正文 · AI 翻译
作者：Yeonkyoung So、Jongmin Kim、Sungmok Jung、Gyuseong Lee、Sangho Kim、Jongyeon Park、Joonhak Lee、Seho Pyo、Gyeongje Cho、Seorin Kim、Jisoo Kim、Suyoung Park、Hyunji M. Park、Yelim Ahn、Yeongho Seo、Jaejin Lee
摘要：我们提出了一个韩语基准套件（KBS），包含 Ko-ARC、Ko-GSM8K、Ko-EQ-Bench、Ko-WinoGrande、Ko-LAMBADA 和 Ko-IFEval，涵盖六种能力，共 9,396 个条目。该套件结合了审查、本地化、直接韩语构建以及针对韩语的重设计，避免了仅靠翻译来适配基准的做法。我们在考虑了模型访问方式、提示格式和评分差异的协议下，评估了韩国开发的模型、多语言开放模型和闭源 API 模型。结果表明，韩语基准分数取决于任务构建、评分规则、提示以及模型后训练。这些发现表明，韩语评估应同时报告最终分数和获得这些分数所用的设置。
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.21227 [cs.CL] |
| （或 arXiv:2610.21227v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.21227 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yeonkyoung So [查看邮箱]
[v1]
2026年10月15日星期四 04:18:09 UTC（437 KB）
来源：arXiv cs.CL · arxiv.org