arXiv cs.CL· Ruchira Dhar, Qiwei Peng, Anders S{\o}gaard·· 3 天前AI 评分22
语言模型评估方法论面临哪些挑战：一项跨越四十年的综述
On Challenges in Evaluation Methodology: A Review
AI 导读
一项跨越四十年的范围综述梳理出评估方法论中 22 类反复出现的关切，并构建了分类体系。研究发现，部分关切在文献中已变得不再显眼，且许多关切未被机构检查清单明确覆盖。该工作为研究社区重新审视评估方法与开展领域级干预提供了目标。
正文 · AI 翻译
摘要：语言模型的最新进展促使越来越多研究对主流评估实践提出质疑。然而，许多此类批评在自然语言处理（NLP）领域早已被讨论过，该领域在评估方法论反思方面有着悠久的历史。我们开展了一项跨越四十年的范围综述，并构建了一个包含 22 类反复出现的问题的分类体系。对于每个问题，我们考察其在所综述文献中最近被讨论的时间，以及它是否在机构检查清单中得到明确关注，发现有些问题在文献中已变得不那么显眼，而许多问题在这些检查清单中缺乏覆盖。我们的工作概述了塑造该领域的评估方法论中的主要问题，并指出了研究界可重新开展调查和进行领域层面干预的潜在目标。
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2604.25923 [cs.CL] |
| （或 arXiv:2604.25923v2 [cs.CL] 对应此版本） | |
| https://doi.org/10.48550/arXiv.2604.25923 arXiv 颁发的 DOI，经由 DataCite |
提交历史
来自：Ruchira Dhar [查看电子邮件]
[v1]
2026年4月1日星期三 10:29:43 UTC（911 KB）
[v2]
2026年10月14日星期三 06:43:26 UTC（306 KB）
来源：arXiv cs.CL · arxiv.org