arXiv cs.AI· Eunsu Kim, Haneul Yoo, Guijin Son, Hitesh Patel, Amit Agarwal, Alice Oh·· 3 天前AI 评分29
BenchHub：面向 LLM 评测的组合感知框架
Benchmarks Are Not Atomic: Composition-Aware LLM Evaluation using BenchHub
AI 导读
研究者提出组合感知评测框架 BenchHub，将 benchmark 表示为实例级属性的分布，整合 54 个 benchmark、839K 样本、覆盖 10 种语言。该框架揭示动机相似的 benchmark 内部构成差异显著、现有 benchmark 常含超出其既定用途的可复用覆盖，且模型排名在不同重加权与重采样配置下会发生变化。
正文 · AI 翻译
摘要：LLM 基准测试常被视为一致的测量单元，但它们实际上是涵盖不同领域、技能、格式和上下文的异构实例集合。因此，聚合的基准分数可能将模型能力与基准构成混为一谈，掩盖了现有基准实际覆盖的内容。我们提出 BenchHub，一个感知构成的评估框架，将基准表示为实例级属性上的分布。BenchHub 集成了 54 个基准，涵盖 10 种语言的 839K 个样本。它使研究人员能够检查基准内容、发现隐藏在基准名称背后的可复用覆盖范围、透明地比较基准，并为应用对齐的模型选择构建可控的评估集。使用 BenchHub，我们表明动机相似的基准在内部构成上可能差异很大，现有基准通常包含超出其既定用途的可复用覆盖范围，模型表现出被聚合分数掩盖的细粒度类别级性能差异，并且模型排名在不同重加权和重采样配置下可能发生变化。我们的结果推动评估实践使基准构成变得明确、可检查和可控。
| 评论： | 被 NeurIPS 2026 Evaluations & Datasets (E&D) Track 接收 |
| 主题： | 机器学习 (cs.LG)；人工智能 (cs.AI)；计算与语言 (cs.CL) |
| 引用为： | arXiv:2506.00482 [cs.LG] |
| （或 arXiv:2506.00482v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2506.00482 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Eunsu Kim [查看电子邮件]
[v1]
2025年5月31日星期六 09:24:32 UTC（963 KB）
[v2]
2026年10月12日星期一 18:21:52 UTC（1,803 KB）
来源：arXiv cs.AI · arxiv.org