AuditKIT：面向大语言模型与智能体系统评测、评判与比较的统一评估框架

AuditKIT: A Unified Evaluation Spine for Benchmarking, Judging, and Comparing Large Language Models and Agentic Systems

AI 导读

AuditKIT 是一个源码可获取的评估库，将基准准确率、评判模型评估、运行时性能、工具调用行为和检索质量记录在同一结果表示中，并支持方向感知的指标契约与配置指纹。针对智能体，它提供按轮次的工具调用匹配、区分并行与串行执行，并将缺失或不可观测的证据标记为未计分而非失败。论文通过覆盖模型比较、服务运行时、检索、工具调用和互操作性的七个案例，展示答案抽取、运行时行为和指标选择如何改变评估结果。

正文 · AI 翻译

查看 PDF HTML（实验性）

摘要：评估语言模型和智能体需要综合基准准确率、基于评判的评估、运行时性能、工具使用行为和检索质量。接口、指标语义和轨迹格式的差异使这些比较变得复杂，并可能掩盖智能体工作流中的失败。我们提出 AuditKIT，一个源码可获取的评估库，它将上述测量记录在统一的结果表示中，具备方向感知的指标契约、配置指纹以及可扩展的指标和后端。对于智能体，它提供轮次感知的工具调用匹配，区分并行执行与顺序执行，并将已验证的任务结果与轨迹级诊断区分开来。缺失或不可观测的证据被标记为未评分，而非计为失败。对于检索增强生成，它结合了排序检索指标、基于评判的接地性和确定性证据检查。涵盖模型比较、服务运行时、检索、工具调用和互操作性的七个案例研究展示了答案提取、运行时行为和指标选择如何改变评估结果。

评论：	25 页，2 幅图，13 张表。代码：此 https URL。Shreeyans Arora 和 Utsav Avaiya 贡献相同；工作完成于 Lexsi Labs 任职期间
主题：	计算与语言（cs.CL）；人工智能（cs.AI）；信息检索（cs.IR）；软件工程（cs.SE）
引用为：	arXiv:2610.22511 [cs.CL]
	（或 arXiv:2610.22511v1 [cs.CL] 用于此版本）
	https://doi.org/10.48550/arXiv.2610.22511 由 DataCite 颁发的 arXiv DOI（待注册）

提交历史

来自：Hem Gosalia [查看电子邮件]
[v1] 2026年10月15日星期四 18:05:10 UTC（241 KB）

来源：arXiv cs.CL · arxiv.org