arXiv cs.AI· Liang Twist Shan, Jiahao Ai, Zhimei Ren·· 11 小时前AI 评分27
VB-EGE：面向多目标 LLM 竞技场的帕累托前沿自适应采样算法
Beyond Scalar Leaderboards: Adaptive Sampling for Pareto Frontier Identification in Multi-Objective LLM Arenas
AI 导读
研究者提出 Vector-Borda Empirical-Gap Elimination（VB-EGE），一种固定置信度的自适应采样算法，用于在竞技场式评测中高效识别帕累托前沿上的模型。
正文 · AI 翻译
摘要：大型语言模型（LLM）的评估本质上是多目标的，因为不同模型在数学、代码和写作等性能维度上可能提供不同的权衡。由于此类评估通常基于昂贵且耗时的用户反馈，因此用尽可能少的比较得出可靠结论十分重要。在本文中，我们提出 Vector-Borda Empirical-Gap Elimination（VB-EGE），一种固定置信度的自适应采样算法，用于在竞技场式评估中高效识别帕累托前沿上的模型，其中每次比较都会针对选定的性能维度，在一道提示上评估一对模型。一旦积累了足够的统计证据以确认模型的帕累托状态，VB-EGE 就会逐步将其从活动集中剔除。在多目标 Bradley-Terry 模型下，我们证明 VB-EGE 能以高概率返回正确的帕累托前沿，并推导出其样本复杂度的实例相关上界。我们进一步建立了一个最坏情况下界，表明 VB-EGE 在对数因子范围内是极小极大最优的。在三个真实竞技场数据集（Arena、SearchArena 和 VisionArena）上的模拟与实验证明了 VB-EGE 的经验有效性。
| 评论： | 51 页，包括参考文献和附录 |
| 主题： | 机器学习（stat.ML）；人工智能（cs.AI）；机器学习（cs.LG）；应用（stat.AP）；其他统计学（stat.OT） |
| 引用为： | arXiv:2610.27447 [stat.ML] |
| （或 arXiv:2610.27447v1 [stat.ML] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.27447 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Liang Twist Shan [查看电子邮件]
[v1]
2026 年 10 月 20 日星期二 00:50:18 UTC（1,705 KB）
来源：arXiv cs.AI · arxiv.org