arXiv cs.CL· Rajveer Singh Pall·· 12 小时前AI 评分37
评分规则如何左右 LLM 排名：印度金融监管文本基准 IndiaFinBench 的发现
Scoring-Rule Sensitivity in LLM Evaluation: Evidence from Indian Financial Regulatory Text
AI 导读
在 406 条 SEBI 与 RBI 监管文本构成的 IndiaFinBench 上，仅更换评分规则就会让 12 个 LLM 的排名大幅翻转：严格四阶段字符串匹配与跨模型评审两种主规则之间无正相关（Spearman rho = -0.273，p = 0.39，不显著），且没有任何模型在三种规则下保持同一名次。
正文 · AI 翻译
摘要：基准排行榜报告一个准确率数字，但该数字是模型与评分规则共同作用的产物。我们探究仅改变规则时会发生什么，并发现模型排序对此高度敏感。IndiaFinBench 是一个包含 406 个条目的专家标注基准，覆盖 SEBI 和 RBI 监管文本，涉及监管解释、数值推理、矛盾检测和时间推理。我们在两种主要机制下对十二个 LLM 的相同预测进行零样本评分——严格的四阶段字符串匹配，以及与任何被评估系统均不共享模型家族的跨模型评判者的裁决——外加一种操作性的复合机制。两种主要机制之间没有正秩对应关系（Spearman rho = -0.273，p = 0.39，不显著），且没有任何模型在全部三种机制下保持其排名。严格准确率范围为 75.12-89.66%；仅评判者准确率范围为 87.19-94.83%，且领先者和落后者不同；复合机制将差距压缩至 94.1-98.0%，在此之下 DeepSeek-R1-Distill-Llama-70B 并列第一，尽管其在严格评分下排名最后，因为评判者将其 93.9% 的严格错误重新归类为正确。在调整任务和模型组成后，输出冗长度无法解释这种重新分类，我们将此作为阴性结果如实报告。条目级分析进一步印证了这一发现：406 个条目中有 148 个（36.5%）被全部十二个模型给出相同答案，无法区分任何一对系统，而预定义的高区分度区间捕获了 134 个条目。我们还以一个非专家评估者为基准锚定该量表，其在 60 个中等/困难子集上得分为 80.0%（48/60；95% Wilson CI [68.2, 88.2]）；配对 bootstrap 检验在多重性校正后发现与任何模型均无显著差异。数据、测试框架、评判者裁决、预测：此 https URL
| 评论： | 35 页，7 幅图，15 张表。较 v2 大幅修订（新标题、评分规则分析）。数据集、评估框架和预测见 此 https URL |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；信息检索（cs.IR） |
| MSC 分类号： | 68T50 |
| ACM 分类号： | I.2.7; I.2.6; H.3.1 |
| 引用为： | arXiv:2604.19298 [cs.CL] |
| （或本版本使用 arXiv:2604.19298v3 [cs.CL]） | |
| https://doi.org/10.48550/arXiv.2604.19298 arXiv 通过 DataCite 颁发的 DOI |
提交历史
来自：Rajveer Singh Pall [查看电子邮件]
[v1]
2026 年 4 月 21 日星期二 10:04:49 UTC（1,052 KB）
[v2]
2026 年 5 月 2 日星期六 14:28:22 UTC（1,314 KB）
[v3]
2026 年 10 月 26 日星期一 20:39:35 UTC（2,541 KB）
来源：arXiv cs.CL · arxiv.org