arXiv cs.AI· Kiwoong Park, Seyoung Song, Donghyun Woo, Alice Oh·· 3 天前AI 评分27
北还是南？诊断 LLM 对朝鲜语言、社会与知识的理解
North or South? Diagnosing LLMs' Understanding of North Korean Language, Society, and Knowledge
AI 导读
研究团队发布 LENS 基准，用 1,765 道人工校验题目从语言鲁棒性、社会文化视角对齐和领域知识三个维度评测 LLM 对朝鲜的理解。评测显示，模型在朝鲜语输入上性能小幅下降，社会文化视角对齐差距更大，领域知识则严重不足。定性分析发现模型常混淆正式制度与现实生活、套用自由民主假设或依赖刻板印象。
正文 · AI 翻译
摘要：大型语言模型（LLM）在多语言问答方面已取得实质性进展，但其理解低资源社会语言学语境的能力仍未被充分探索。我们将朝鲜作为一个独特的试验场，数十年的分裂使其在词汇、正字法、规范和意识形态话语方面与韩国产生了明显差异。我们提出了 LENS（朝鲜社会语言与社会文化评估），这是一个经人工验证的基准，包含 1,765 个问题，从三个维度评估 LLM：语言稳健性、社会文化视角对齐和领域特定知识。在评估多种近期 LLM 后，我们发现其在朝鲜语输入上的性能略有下降，在社会文化视角对齐方面差距更大，而在领域特定知识方面则存在严重局限。定性分析表明，模型常常将正式制度与现实生活混为一谈，投射自由民主假设，或依赖粗疏的刻板印象。我们的结果表明，仅凭语言相似性并不能保证社会文化或领域特定理解，凸显了对代表性不足的文化和政治语境构建有依据的评估资源的迫切需求。
| 评论： | 已被 AACL-IJCNLP 2026（主会议）接收。19 页，1 幅图，11 张表 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.15282 [cs.CL] |
| （或 arXiv:2610.15282v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.15282 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Kiwoong Park [查看电子邮件]
[v1]
2026 年 10 月 11 日星期日 02:26:46 UTC（68 KB）
来源：arXiv cs.AI · arxiv.org