arXiv cs.AI· Hosein Hasanbeig, Priyanshu Gupta, Ashish Tiwari, Vu Le, Sumit Gulwani·· 11 小时前AI 评分38
RubricCraft：从候选解答差异中生成评测标准
RubricCraft: Where Solutions Diverge, Criteria Emerge
AI 导读
RubricCraft 将评分标准构建转化为由候选解答引导的自然语言规范生成，通过比较不同解答对任务要求的满足与违反来提炼标准。在 SpreadsheetBench v2 上，其评分标准误放行错误输出比例为 29.5%，低于同一模型仅凭提示词生成的 42.6%，且未拒绝基准自带检查器接受的任何输出。由三个模型家族的尝试驱动的标准修订作用于不同任务，证据审计判定多数修订为改进。
正文 · AI 翻译
摘要：在开放式、产出制品的任务上评估语言智能体十分困难：基于模型的评分器可能不一致，而穷尽式的程序化检查往往不切实际。文本评分细则使评估标准显式化，但撰写这些细则需要领域专业知识。仅根据任务描述生成的评分细则可能遗漏在尝试解答中才显现的需求和失败模式。我们提出 RubricCraft，它将评分细则构建视为在候选解答引导下生成自然语言规范的过程。给定任务描述和独立采样的求解轨迹，RubricCraft 比较每次尝试如何满足或违反任务要求，并利用这些差异构建评分细则标准。它将标准应用于收集到的解答，并修订那些忽略错误或惩罚有效替代方案的检查项。由此得到的评分细则能够捕捉部分正确性，而无需任何单一解答作为完整参考。在 SpreadsheetBench v2 上，与由同一模型编写并应用的仅提示词评分细则相比，RubricCraft 的评分细则放过的错误输出更少（29.5% 对 42.6%），未使基准自带检查器接受的任何输出被判为失败，且更常按正确性对输出排序，同时区分模型的能力相当。对单次尝试进行修复不改变评分结果，但由三个模型家族的尝试驱动的修复作用于不同任务，且证据审计判定其中大多数修复为改进，许多改进发生在参考解答本身有误的任务上。
| 主题： | 软件工程（cs.SE）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.31707 [cs.SE] |
| （或 arXiv:2610.31707v1 [cs.SE] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.31707 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Hosein Hasanbeig [查看电子邮件]
[v1]
2026年10月21日星期三 21:13:36 UTC（358 KB）
来源：arXiv cs.AI · arxiv.org