arXiv cs.CL· Shenbin Qian, David Samuel, Jind\v{r}ich Helcl, Andrey Kutuzov, Stephan Oepen·· 3 天前AI 评分24
如何评估你不知道如何评估的东西？为基础语言模型基准测试选择可靠设置
How to Evaluate When You Don't Know How to Evaluate? Choosing Reliable Setups for Base Language Model Benchmarking
AI 导读
研究针对 LLM 评估中缺乏指导的设计决策问题，考察了任务表述、上下文示例数量等 8 个方面，以单调性、非随机性和中间 checkpoint 排名一致性三项信号标准作为元度量进行比较。在早期预训练场景下，基于 26 个 2B 参数单语模型、4 种语言的 80 项任务进行评估，并在 3 个 ≥7B 的更大 LLM 上验证。结果显示多提示词等选择始终有效，而任务表述等选择则取决于模型规模。
正文 · AI 翻译
摘要：大型语言模型（LLM）的评估在很大程度上仍处于前科学阶段：它涉及许多设计决策，却几乎没有关于如何做出这些决策的指导。这些选择会显著影响所测得的性能，进而影响关于后续预训练的决策。为了确定有效的评估设置，我们研究了 8 个方面，例如任务表述方式或上下文示例的数量。我们使用三个广泛使用的信号标准——被重新用作规范性元度量：单调性、非随机性以及评估分数在中间检查点之间的排序一致性——来比较这些设置。在早期预训练场景中，我们在 26 个基于不同类型数据训练的 20 亿参数单语模型上，使用四种语言的 80 个任务来评估这些设置。我们还在三个更大的 LLM（$\geq$7B）上以相同的四种语言考察了这些设置，并探究偏好的设置如何随模型规模而变化。我们的结果给出了具体建议：一些选择，例如使用多个提示，始终有用；而另一些选择，例如任务表述方式，则取决于模型规模。更广泛地说，我们的框架可作为在新场景中选择评估设置的指南。
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.19185 [cs.CL] |
| （或 arXiv:2610.19185v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.19185 arXiv 颁发的 DOI，经由 DataCite（待注册） |
提交历史
来自：Shenbin Qian [查看电子邮件]
[v1]
2026年10月13日星期二 20:50:28 UTC（247 KB）
来源：arXiv cs.CL · arxiv.org