arXiv cs.AI· Haiquan Hu, Yuzhu Liang, Weicheng Tang, Yanzeng Li, Yao Shi, Li Xu, Tian Wang·· 3 天前AI 评分22
BSDProbe：用条目级能力边界诊断 LLM 基准可靠性
Are Benchmarks Reliable? Toward Structural Diagnosis via Item-Level Capability Boundaries
AI 导读
BSDProbe 提出条目级基准结构诊断框架，通过沿经验排序的模型轴重复采样，构建边界位置、边界宽度、边界信号有效性与顺序一致性四维画像，并在六个基准上识别出不同比例的可疑条目。以 Qwen3 同时作为选择轴与参考轴时，其归一化区分度比各基准最佳基线平均相对提升 17.9%，与完整基准的排序一致性也达到或超过所有基线。
正文 · AI 翻译
摘要：评估大型语言模型（LLM）在很大程度上依赖基准分数，但聚合指标可能掩盖单个项目是否服务于其预期的测量目的。BSDProbe 提供了一个项目级框架，用于基准结构诊断，联合刻画正确性转变及其支撑性响应证据。沿经验排序的模型轴重复响应，产生互补的正确性和归一化熵轨迹，由此构建边界位置、边界宽度、边界信号有效性和顺序一致性四个维度的画像，用于基准级聚合。在六个基准上的实验识别出不同比例的可能异常项目。以 Qwen3 同时作为选择轴和参考轴，BSDProbe 在每个基准上相对于最佳基线在归一化区分比上实现了 17.9\% 的平均相对提升，并在与完整基准的排名一致性上达到或超过所有基线。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2609.33196 [cs.AI] |
| （或 arXiv:2609.33196v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2609.33196 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Haiquan Hu [查看电子邮件]
[v1]
2026年9月27日星期日 04:30:18 UTC（481 KB）
[v2]
2026年10月12日星期一 13:48:38 UTC（1,791 KB）
来源：arXiv cs.AI · arxiv.org