arXiv cs.CL· Anubhav Jangra, Adrian de Wynter·· 3 天前AI 评分18
如何找到好指标：多语言风格个性化生成的指标元评估
Fantastic Metrics and How to Find Them: Meta-Evaluating Metrics for Multi-lingual Style-Personalized Generation
AI 导读
研究提出基于回归的指标元评估方法，在校准后的指标输出上学习预测人类评分，并以常数均值基线和人类一致性为参照衡量指标能力。团队构建了覆盖 10 种语言、4 个评价维度的大规模多语言风格个性化生成（SPTG）基准，对三类风格评估范式的 32 个指标及其集成在 40 种评估设置下进行元评估。结果显示，经人类评分校准后，简单的字符串和嵌入向量指标可媲美强 LLM-judges。
正文 · AI 翻译
摘要：文本生成指标与 LLM 评判器的元评估主要基于指标与人类评分的相关性进行。然而，已有研究表明，相关性并不能恰当地衡量指标的评估能力，并且在不同评估设置（如不同数据集或语言）下可能不稳定。因此，我们提出一种基于回归的指标元评估方法，该方法在经校准的指标输出上进行学习以预测人类评分。我们将这一度量相对于一个平凡的常数均值基线和人类一致性进行锚定，从而提供跨评估设置的、可比较的指标能力度量。为测试我们的元评估框架，我们构建了一个大规模多语言风格个性化文本生成（SPTG）基准，在 10 种拓扑结构各异的语言和四个评估维度上收集了多重标注，每个维度的主观程度各不相同。我们对来自三种风格评估范式（基于字符串、基于嵌入和 LLM 评判器）的 32 个指标及其集成模型在这 40 种评估设置下进行了元评估。我们的分析表明，即使是简单的基于字符串和基于嵌入的度量，在经人类评分校准后也能与强大的 LLM 评判器相匹敌。我们还识别出决定指标性能的人类标注特征，以及指标集成优于其单个组成成分的条件。
| 评论： | 27 页，13 张图 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.19166 [cs.CL] |
| （或 arXiv:2610.19166v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.19166 arXiv 颁发的 DOI，经由 DataCite（待注册） |
提交历史
来自：Anubhav Jangra [查看邮箱]
[v1]
2026 年 10 月 13 日星期二 20:31:19 UTC（359 KB）
来源：arXiv cs.CL · arxiv.org