arXiv cs.AI· Prajjwal Gupta, Prasang Gupta, Vishal Bhutani, Apoorva Sharma, Sumanth Chundru, Waqar Sarguroh, Kevin Paul·· 3 天前AI 评分27
Litmus：面向 AI 系统评估的零标签、代码驱动指标规范方法
Litmus: Zero-Label, Code-Driven Metric Specification for Evaluating AI Systems
AI 导读
Litmus 是一个零标签系统，通过从源代码中提取评估意图并配合针对性追问，为 AI 流水线设计评估与监控指标，再将答案转化为各阶段指标组合的约束条件。在三个真实代码定义的流水线上对比 AutoMetrics 和三个 DynamicRubric 基线，Litmus 在同等规模下覆盖更广的关注点、跨越更多阶段，并实现近零冗余的指标组合。
正文 · AI 翻译
摘要：随着智能体式 LLM 系统从原型走向部署，对其进行评估变得愈发重要，也愈发困难。评估目标往往被隐而不宣。若不清楚一个系统预期要做什么、可能如何失败、以及哪些失败才是关键，指标选择便难以被论证、解释或验证。我们提出 Litmus，一个零标签系统，通过从源代码中引出评估意图并进行针对性询问，为 AI 流水线设计评估与监控指标。Litmus 首先确定必须测量什么以及为什么，然后将这些答案转化为约束，以构建一个有理有据的、分阶段的指标组合。我们在三条真实的、由代码定义的流水线上，将 Litmus 与 AutoMetrics 及三个 DynamicRubric 基线进行对比评估。在规模匹配的情况下，Litmus 在关注点分组上实现了更广的覆盖，跨越更多阶段，产生近乎零冗余的指标组合，并且在零标签设计时约束下，在全部三条流水线上，其相对于逐行质量标签的效度均排名第一，在科学问答上优势显著（在拼接单向量得分上，$\rho{=}0.72$，而最强基线为 $0.47$），在另外两条流水线上则区间重叠。结果支持从自动指标实现向自动指标规范的转变：在问该计算哪个指标之前，评估系统应先问必须测量什么以及为什么。
| 评论： | 25 页，4 幅图。已被 EMNLP 2026（Industry Track）接收 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2606.23403 [cs.AI] |
| （或 arXiv:2606.23403v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2606.23403 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Prasang Gupta [查看邮箱]
[v1]
2026 年 6 月 22 日星期一 14:26:48 UTC（473 KB）
[v2]
2026 年 10 月 10 日星期六 12:50:27 UTC（481 KB）
来源：arXiv cs.AI · arxiv.org