arXiv cs.CL· Seoyeon Kim, Jeonghyun Kang, Hamin Koo, Barom Kang, Heondeuk Lee, Jaehyung Kim·· 10 小时前AI 评分22
KLEAR：通过受控基准变换实现按应用需求匹配知识的韩语 LLM 评测
KLEAR: Knowledge-Matched LLM Evaluation in Korean across Application Requirements via Controlled Benchmark Transformation
AI 导读
KLEAR 是一个韩语 LLM 评测框架，通过保持所需知识不变、只改变应用需求来构建知识匹配的对照题目，从而区分模型答错是因为缺少知识还是不会应用知识。分析显示现有韩语基准中多数题目仅靠事实回忆即可作答，而要求更高应用的题目所需知识也不同，难以单独衡量应用能力。实验表明生成的知识匹配题集基本满足约束，随着应用需求提高，即使提供所需知识，模型仍会暴露持续性失败。
正文 · AI 翻译
摘要：现有的大型语言模型（LLM）韩语基准测试评估了模型在多种知识领域中的表现，但其准确率分数无法区分错误回答究竟源于缺乏所需知识，还是未能正确应用该知识。我们对现有韩语基准测试的分析表明，大多数问题仅凭事实回忆即可作答，而那些要求更高应用能力的问题在所需知识上也存在差异，因此难以单独分离出应用能力。为解决这一问题，我们提出了 KLEAR，一个通过改变应用需求同时保持所需知识不变来构建知识匹配对照的框架。在构建过程中，KLEAR 将每个源问题所依据的知识识别为显式锚定束，以指导生成需要更复杂应用的问题。生成的候选问题随后经过自动与人工验证，并根据评估反馈进行迭代修订。实验表明，所得的知识匹配集合在很大程度上满足预期约束，从而能够对多种 LLM 进行受控评估。这些评估揭示，提高应用需求会暴露出即使提供了所需知识也依然存在的失败。
| 评论： | 34 页，审稿中 |
| 主题： | 计算与语言（cs.CL） |
| ACM 分类： | I.2.7 |
| 引用为： | arXiv:2611.09223 [cs.CL] |
| （或 arXiv:2611.09223v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.09223 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Seoyeon Kim [查看邮箱]
[v1]
2026 年 11 月 6 日星期五 09:42:50 UTC（557 KB）
来源：arXiv cs.CL · arxiv.org