Benchmark Radar：面向 AI 基准与评测的实时数据库和搜索引擎
Benchmark Radar: A Living Database and Search Engine for AI Benchmarks and Evaluation
Benchmark Radar 是一个面向 AI 基准检索与发现的实时数据库和搜索引擎，覆盖 LLM 评测、智能体与工具使用、编码、推理、安全及领域评测。系统每日从 37 个来源（13 个直连、24 个第一方研究 feed）发现基准论文、仓库、数据集与发布，目录含 1,283 条来源记录、790 条记录上的 12,916 个数值观测。
作者：Koutian Wu、Wenjun Zhang、Junjie Zhou、Pengqian Han、Qiming Bao、Ergan Shang、Jiayu Wang、Junkai Wang、Wanghan Xu、Songyuanyi Lu、Yixuan Li、Rudy Mizrahi Celekli、Lazizbek Ravshanov、Yaoliang Bian、Xudong Han、Lin Shi
摘要：大型语言模型（LLM）及其他 AI 系统的基准测试研究人员和开发者需要找到相关评估、定位其基准数据集和代码，并理解所报告分数背后的设置。我们提出 Benchmark Radar，一个用于检索和发现 AI 基准的持续更新数据库和搜索引擎，涵盖 LLM 评估、智能体与工具使用基准、编码、推理、安全以及特定领域评估。该系统将基准论文、代码仓库、数据集和发布的每日发现与可搜索的基准目录、模型卡和技术报告中的提及以及分数历史相结合。它保留来源标识和引用，以便读者检查候选基准及其评估证据。每日发现依托 37 个来源：13 个直接连接器和 24 个第一方研究与工程信息源。目录包含 1,283 条来源记录，取自 4 个基准目录，以及 790 条记录上的 12,916 个数值观测。我们描述了收集与检索方式，审计了完整目录，并考察了基准饱和、采用趋势以及分数比较的局限性。一个示例演示了完整的现有技术检索，展示了在设计新评估时如何查询目录并检查基准证据。我们发布了网页仪表板，包含基准排行榜、分数与实测使用量的帕累托前沿视图、饱和与趋势视图、每日信息流、可下载证据、用于离线查询的命令行界面（CLI）以及可复现分析。
| 评论： | 代码：此 https URL，项目网站：此 https URL |
| 主题： | 人工智能（cs.AI）；信息检索（cs.IR） |
| 引用为： | arXiv:2609.11115 [cs.AI] |
| （或 arXiv:2609.11115v4 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2609.11115 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Koutian Wu [查看电子邮件]
[v1]
2026年9月10日星期四 05:47:22 UTC（4,314 KB）
[v2]
2026年9月13日星期日 07:02:41 UTC（4,315 KB）
[v3]
2026年9月22日星期二 03:36:21 UTC（4,316 KB）
[v4]
2026年10月27日星期二 05:50:03 UTC（4,050 KB）
来源：arXiv cs.AI · arxiv.org