arXiv cs.AI· Jasper Dekoninck, Maximilian Baader, Martin Vechev·· 3 天前AI 评分24
Polyrating：一种低成本、感知偏差的 LLM 评测评分系统
Polyrating: A Cost-Effective and Bias-Aware Rating System for LLM Evaluation
AI 导读
Polyrating 是一种基于最大后验估计的 LLM 评分系统，可检测并量化影响人类偏好的偏差，实现更公平的模型比较。它利用已有 benchmark 分数，将新模型的人类评测成本最多降低 41%，新任务最多降低 77%。该系统还支持跨不同任务直接比较评分，全面呈现 LLM 在不同应用中的强弱与相对表现。
正文 · AI 翻译
摘要：基于评分的人工评估已成为准确评估大语言模型（LLM）出色性能的重要工具。然而，当前的评分系统存在若干重要局限：第一，它们未能考虑显著影响评估结果的偏差；第二，它们需要庞大且昂贵的偏好数据集才能获得准确评分；第三，它们无法促进跨不同任务的模型评分的有意义比较。为解决这些问题，我们提出了 Polyrating，一种基于最大后验估计的表达力强且灵活的评分系统，能够以更低成本对模型性能进行更细致、更全面的分析。Polyrating 能够检测并量化影响人类偏好的偏差，确保更公平的模型比较。此外，通过利用现有基准分数，Polyrating 可将新模型的人工评估成本降低最多 $41\%$，将新任务的人工评估成本降低最多 $77\%$。最后，Polyrating 支持跨不同任务直接比较评分，从而全面了解 LLM 的优势、劣势以及在不同应用中的相对表现。
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2409.00696 [cs.CL] |
| （或 arXiv:2409.00696v4 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2409.00696 由 DataCite 颁发的 arXiv DOI |
提交历史
发件人：Jasper Dekoninck [查看电子邮件]
[v1]
2024年9月1日星期日 11:24:54 UTC（1,865 KB）
[v2]
2024年10月14日星期一 10:01:33 UTC（1,847 KB）
[v3]
2025年2月11日星期二 12:21:13 UTC（2,012 KB）
[v4]
2026年10月12日星期一 10:32:26 UTC（1,289 KB）
来源：arXiv cs.AI · arxiv.org