arXiv cs.CL· Silvia Casola, Ryan Soh-Eun Shim, Felicia K\"orner, Yuchen Mao, Barbara Plank·· 11 小时前AI 评分22
SteerEval:推理时干预增强神经摘要指标的多语言泛化能力
SteerEval: Inference-time Interventions Strengthen Multilingual Generalization in Neural Summarization Metrics
AI 导读
SteerEval 提出在推理时将多语言神经摘要指标的激活导向英语枢轴语言,可提升其与人类判断的相关性。研究覆盖基于编码器和解码器的指标,测试时干预方法在多种语言上均有效。该工作已被 EMNLP 2026 接收。
正文 · AI 翻译
摘要:越来越多的研究利用多语言语言模型来完成自然语言生成任务,例如摘要。该领域的一个主要实证瓶颈是许多语言缺乏准确且稳健的评估指标,这阻碍了进展。近期研究表明,多语言语言模型通常将英语作为内部枢轴语言,而与该枢轴的不对齐可能导致下游性能下降。基于这种不匹配也可能适用于多语言神经指标的假设,我们探究将它们的激活引导向英语枢轴是否能提高与人类判断的相关性。我们对基于编码器和解码器的指标进行了实验,发现测试时干预方法普遍有效,提高了指标在多种语言上的有效性。
| 评论: | 已被 EMNLP 2026 接收。请引用 anthology BibTeX |
| 主题: | 计算与语言(cs.CL) |
| 引用为: | arXiv:2601.15809 [cs.CL] |
| (或 arXiv:2601.15809v2 [cs.CL] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2601.15809 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Silvia Casola [查看电子邮件]
[v1]
2026年1月22日星期四 09:49:29 UTC(3,068 KB)
[v2]
2026年10月23日星期五 15:28:31 UTC(1,783 KB)
来源:arXiv cs.CL · arxiv.org