arXiv·· 13 天前AI 评分22
智能体排行榜的测量优先审计：污染易感性、匹配对照重评估与评分器验证
Measurement-First Auditing of Agentic Leaderboards: Contamination Susceptibility, Matched-Control Re-evaluation, and Scorer Validation
AI 导读
针对智能体排行榜公开基准中任务陈述与含解答产物可能仍可获取的问题，研究者提出"测量优先"审计框架，按所需证据区分训练期暴露、评估期检索与流水线/脚手架泄漏三条污染渠道，并以失败即关闭规则将各渠道编码为开放、部分、封闭或未知。在九种 Holistic Agent Leaderboard（HAL）配置中，27 个渠道均未出现……
来源：arXiv · arxiv.org