arXiv cs.AI· William Caban·· 14 小时前AI 评分42
智能体 AI 评测的有效性危机：三层复合效度模型揭示基准分数可靠性衰减
Measurement Without Validity: The Compounding Reliability Problem in Agentic AI Evaluation
AI 导读
研究者提出知识驱动的三层复合效度模型 V_total ≤ V_1 × V_2 × V_3，刻画任务生成、人类模拟器校准与自动评判三个环节的乘性效度衰减。
正文 · AI 翻译
摘要：智能体 AI 评估流水线产生的基准分数，被用于支撑部署决策、安全认证和监管合规声明。目前尚无正式框架刻画有效性在这些阶段之间如何衰减。我们提出一个基于知识的三层复合有效性模型 $V_{\rm total} \leq V_1 \times V_2 \times V_3$，用以刻画任务生成（$V_1$）、人类模拟器校准（$V_2$）和自动评判（$V_3$）之间的乘性衰减。将其应用于五种广泛使用的智能体基准配置，我们发现 $V_1$ 和 $V_2$ 可独立测量且均已退化，但 $V_3$ 目前对任何配置都无法量化：四个基准中有三个用单一确定性规则评分，因此不存在第二评分者，信度无法定义；第四个基准的部分 LLM 评分器没有已发表的评分器与人类对比测量。
对 55 篇已发表的智能体评估论文的结构化调查发现，其中 26 篇未报告任何类型的机会校正评分者间统计量，这一判定由四名独立评分者以 Krippendorff's $\alpha = 0.834$ 复现。在关于所报告指标是否与其评分设计相匹配的更广泛判断上，这一目的性样本中约 80% 使用了结构不匹配、不完整或缺失的评分者间信度（IRR）指标（四名评分者范围为 60.7%-84.4%）。两者均与系统性的 $V_3$ 崩塌一致。我们进一步记录了 $V_1$ 失效（10 个基准中有 7 个存在任务有效性缺陷）和 $V_2$ 校准偏差（模拟器间方差最高达 9 个百分点，且对非标准美式英语使用者存在系统性人口统计差异）。
我们基于心理测量学和按领域分层的信度阈值（组内相关系数 $\geq 0.70$；按后果级别 $\alpha \geq 0.67/0.70/0.80$）推导出八项从业者可立即应用的处方。
| 评论： | 50 页，2 幅图，7 张表。第二次修订（R2）正在 Knowledge-Based Systems（Elsevier）审稿中。代码和数据：此 https URL |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2608.00794 [cs.AI] |
| （或本版本使用 arXiv:2608.00794v5 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2608.00794 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：William Caban [查看邮箱]
[v1]
2026 年 8 月 1 日星期六 17:50:12 UTC（45 KB）
[v2]
2026 年 8 月 4 日星期二 16:49:21 UTC（33 KB）
[v3]
2026 年 8 月 5 日星期三 05:37:25 UTC（33 KB）
[v4]
2026 年 9 月 11 日星期五 00:32:02 UTC（35 KB）
[v5]
2026 年 10 月 26 日星期一 14:57:54 UTC（61 KB）
来源：arXiv cs.AI · arxiv.org