arXiv cs.AI· Xiaonan Wang, Jinyoung Yeo, Joon-Ho Lim, Hansaem Kim·· 2 天前AI 评分20
KULTURE Bench：评估语言模型韩语文化语境理解能力的基准
KULTURE Bench: A Benchmark for Assessing Language Model in Korean Cultural Context
AI 导读
KULTURE Bench 是一个专为韩国文化设计的评测框架，包含文化新闻、成语和诗歌数据集，从词、句、段落三个层面评估语言模型的文化理解与推理能力。研究团队用该基准测试了不同语料训练的模型，结果显示模型对韩国文化深层文本的理解仍有较大提升空间。
正文 · AI 翻译
摘要：大型语言模型在各种任务中的性能已展现出显著提升。然而，随着这些模型生成的内容更加流畅和连贯，其评估的复杂性也随之增加。当前的多语言基准测试常使用翻译后的英文版本，这可能引入西方文化偏见，从而无法准确评估其他语言和文化。为填补这一研究空白，我们推出了 KULTURE Bench，这是一个专为韩国文化设计的评估框架，包含文化新闻、成语和诗歌数据集。它旨在从词、句和段落层面评估语言模型的文化理解与推理能力。利用 KULTURE Bench，我们评估了使用不同语言语料库训练的模型的能力，并对结果进行了全面分析。结果表明，模型在理解与韩国文化更深层方面相关的文本上仍有很大的改进空间。
| 评论： | 被第38届太平洋亚洲语言、信息与计算会议接收 |
| 主题： | 计算与语言 (cs.CL)；人工智能 (cs.AI) |
| 引用为： | arXiv:2412.07251 [cs.CL] |
| （或 arXiv:2412.07251v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2412.07251 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Xiaonan Wang [查看电子邮件]
[v1]
2024年12月10日星期二 07:20:51 UTC (1,439 KB)
来源：arXiv cs.AI · arxiv.org