AuditKIT 统一评测库发布
热点事件持续更新
AuditKIT 统一评测库发布
1 篇报道1 个报道来源10 小时前更新
先了解这件事
AI 综述
Shreeyans Arora 等作者发布源码可获取的评估库 AuditKIT，把基准准确率、评判模型评估、运行时性能、工具调用行为和检索质量记录在同一结果表示中，并支持方向感知的指标契约与配置指纹。 针对智能体，AuditKIT 按轮次匹配工具调用、区分并行与串行执行，并把缺失或不可观测的证据标记为未计分而非失败。作者以覆盖模型比较、服务运行时、检索、工具调用和互操作性的七个案例，展示答案抽取、运行时行为和指标选择会改变评估结果。
AI 根据报道生成 · 59 分钟前更新
最新进展10月19日 12:00
AuditKIT：面向大语言模型与智能体系统评测、评判与比较的统一评估框架报道时间线
沿着报道，了解事件的不同侧面。
10月19日
- arXiv cs.CLAuditKIT：面向大语言模型与智能体系统评测、评判与比较的统一评估框架
AuditKIT 是一个源码可获取的评估库，将基准准确率、评判模型评估、运行时性能、工具调用行为和检索质量记录在同一结果表示中，并支持方向感知的指标契约与配置指纹。针对智能体，它提供按轮次的工具调用匹配、区分并行与串行执行，并将缺失或不可观测的证据标记为未计分而非失败。论文通过覆盖模型比较、服务运行时、检索、工具调用和互操作性的七个案例，展示答案抽取、运行时行为和指标选择如何改变评估结果。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。