跳到正文
arXiv cs.CY· Naveen Raman, Fei Fang, Yiling Chen·· 10 小时前AI 评分31

LLM 排行榜中的战略竞争与趋同:一项博弈论研究

Strategic Competition and Convergence in LLM Leaderboards

AI 导读

研究将 LLM 排行榜竞争建模为开发者在各项能力上分配资源以最大化胜率的博弈,发现相似的生产函数会导致相似的能力画像(单一化),而比较优势可维持差异化能力画像。基于 LM Arena 和 OpenRouter 数据,开发者在自己落后的类别上进步更快,同时保留类别特定优势,模型前沿日益拥挤且使用模式愈发多样。结果表明竞争加剧未必产生可互换的模型,反而可维持各具优势的竞争性模型。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:排行榜是比较大语言模型(LLM)能力的常用方式,并可能影响模型开发者如何投入资源。我们探讨排行榜上的竞争何时会导致开发者产出能力画像相似的模型(我们称之为单一化),或性能水平相近的模型。我们通过将排行榜竞争建模为一个博弈来研究这一问题,其中模型开发者在各项能力上投入资源以最大化其胜率。我们表明,相似的生产函数可以导致相似的能力画像,而比较优势则可以维持不同的能力画像。随后我们研究性能水平的收敛,并表明收益递减可能导致竞争前沿日益拥挤。利用来自 LM Arena 和 OpenRouter 的数据,我们发现开发者在落后于竞争对手的类别上提升更多,同时仍保留类别特定的优势。与此同时,我们发现模型前沿日益拥挤,模型使用模式也日益多样化。我们的结果表明,竞争加剧不一定会产生可互换的模型,反而可以维持具有不同优势的竞争性模型。
学科: 计算机科学与博弈论(cs.GT);计算机与社会(cs.CY);软件工程(cs.SE)
引用为: arXiv:2611.09780 [cs.GT]
  (或 arXiv:2611.09780v1 [cs.GT] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.09780

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Naveen Raman [查看电子邮件]
[v1] 2026年11月6日星期五 17:42:24 UTC(439 KB)

来源:arXiv cs.CY · arxiv.org