arXiv cs.CL· R\u{a}zvan-Alexandru Sm\u{a}du, Ioana Buhnila, Daniela Tanase, Dumitru-Clementin Cercel, Florin Pop, Mihaela-Claudia Cercel·· 12 小时前AI 评分23
大语言模型讽刺检测基准：罗马尼亚语混合代码句子评测
Benchmarking Large Language Models for Detecting Satirical Code-Mixed Sentences
AI 导读
研究构建了含超 60 万样本的罗马尼亚语-英语/德语/法语/意大利语混合代码讽刺检测数据集 CS-SeLeRoSa 及人工裁定基准 CS-SeLeRoSa-Gold，并评测多语言大模型在零样本、思维链和微调下的表现。
正文 · AI 翻译
摘要：语码转换是一种自然语言现象，但其对高级推理任务的影响在罗马尼亚语等资源匮乏的语言中仍基本未被探索。讽刺检测等自然语言处理任务高度依赖细微的文化和句法线索，而大型语言模型难以捕捉这些线索。本文研究了四种方法（即随机替换、短语翻译、依存句法分析和大型语言模型），用于生成与英语、德语、法语和意大利语混合的合成罗马尼亚语语码混合句子。我们以现有的讽刺检测数据集为起点，该数据集由罗马尼亚语新闻文章汇编而成，并由人工在句子层面进行标注，我们将其扩充了超过 60 万个样本，即 CS-SeLeRoSa。我们对数据集生成过程进行了深入分析。然后，我们在合成语料库和人工裁定的黄金基准（即 CS-SeLeRoSa-Gold）上，在零样本、思维链和微调机制下评估了多个多语言大型语言模型。虽然较旧的开源模型出现显著性能下降（降至 37%-55% 的宏平均 F1），但 Gemma 4 31B 等较新模型在零样本下达到 68.1%，可与 GPT-5 mini（69.5%）等前沿模型相媲美。此外，微调显著减少了格式错误并提升了结果，使 Gemma 4 31B 在 CS-SeLeRoSa 上提升至 77.5%，在黄金标准上提升至 72.6%，优于前沿零样本基线。
| 评论： | 35 页，8 幅图 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.29907 [cs.CL] |
| （或 arXiv:2610.29907v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.29907 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Răzvan-Alexandru Smădu [查看电子邮件]
[v1]
2026 年 10 月 21 日星期三 15:48:28 UTC（2,495 KB）
来源：arXiv cs.CL · arxiv.org