arXiv cs.CL· Khan Mahi Al Atahar, Nazifa Tasneem, Ajwad Abrar·· 3 天前AI 评分22
八款 LLM 的英语与孟加拉语摘要能力评测：GPT-5.6 Luna、LLaMA 3.3 70B、Gemini 2.5 Flash 表现分化
Evaluating Large Language Models for Multilingual Abstractive Summarization: A Comprehensive Study of English and Bengali
AI 导读
一项研究对八款闭源与开放权重 LLM 在规模匹配的英语和孟加拉语 XL-Sum 测试集上做了零样本评测，结合词汇与语义指标、无参考事实性验证及 LLM-as-a-Judge 多维评估。
正文 · AI 翻译
摘要：抽象式摘要在各语言中仍具挑战性，其语言质量与事实一致性可能出现分歧，在低资源环境下尤为如此。我们提出了一个标准化零样本基准，在规模匹配的英语和孟加拉语 XL-Sum 测试集上评估八个闭源与开放权重 LLM。我们的评估结合了词汇与语义指标、无参考事实性验证以及多维 LLM-as-a-Judge 评估，从而对多语言摘要中的表层质量与事实可靠性进行全面分析。结果揭示了显著的跨语言差异：GPT-5.6 Luna 在多项英语词汇指标上领先，但在孟加拉语中并未保持同样优势，LLaMA 3.3 70B 在该语言上取得了最高的 ROUGE 和 BLEU 分数。Gemini 2.5 Flash 获得了所观测到的最高孟加拉语事实性得分。此外，不同评估方法得出的模型排名不同，凸显了在多语言摘要评估中依赖单一指标的局限性。这些发现表明，强大的英语摘要性能未必能迁移到孟加拉语，并强调了为低资源语言建立全面评估框架的必要性。
| Comments： | 已被 MCT4SD 2026（菲律宾马尼拉）接收 |
| Subjects： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.19003 [cs.CL] |
| （或 arXiv:2610.19003v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.19003 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Nazifa Tasneem [查看电子邮件]
[v1]
2026年10月13日星期二 18:05:03 UTC（11 KB）
来源：arXiv cs.CL · arxiv.org