arXiv cs.CL· Zewen Jiang, Yahan Li, Chenlu Guo, Diana Inkpen, Yuan Wu, Yi Chang·· 3 天前AI 评分22
CSWBench：评估创意写作中的上下文敏感语码转换
CSWBench: Evaluating Context-Sensitive Code-Switching in Creative Writing
AI 导读
研究者提出 CSWBench，一个通过 Focused Narrative 和 Extended Narrative 两种设定评估创意写作中上下文敏感语码转换的基准，并配套提出理论驱动的 CSWEval 评估框架。
正文 · AI 翻译
摘要：大语言模型（LLM）已在多种语言生成与理解任务中展现出多语言能力。然而，有效的语码转换不仅仅需要多语言能力：模型必须决定何时、何地以及为何切换语言，以契合周围语境。这种语境敏感的能力仍未得到充分评估。我们提出 CSWBench，一个通过两种互补设置——聚焦叙事与扩展叙事——评估创意写作中语境敏感语码转换的基准。我们进一步提出 CSWEval，一个以理论为依据的框架，包含两个互补层面：对许可性、语境适当性和功能增益的事件级评估，以及对任务特定质量的全篇评估——聚焦叙事中的整体文学与叙事质量，以及扩展叙事中强调多语言组织能力的质量。通过评估十二个 LLM，我们发现模型在叙事语境中展现出有意义但不均衡的语码转换能力。模型差异在多语言文学融合方面尤为显著，而多语言相关维度总体上比一般叙事维度表现出更强的难度效应；叙事上显著的语码转换与更强的语境和功能实现相关；事件级 CS 质量与全篇表现呈中等相关。
| 评论： | 38 页，19 幅图，32 张表。制品：this https URL |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.20272 [cs.CL] |
| （或 arXiv:2610.20272v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.20272 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Zewen JIang [查看电子邮件]
[v1]
2026 年 10 月 14 日星期三 14:33:48 UTC（11,255 KB）
来源：arXiv cs.CL · arxiv.org