arXiv cs.CL· Feifei Qian, Xuan Chen, Lixin Cui, Chaoyang Mei, Fanlin Meng, Shuyao Xiao, Ming Cui, Junxi Yin, Lu Bai·· 6 天前AI 评分24
从结构到效度：机制引导的 LLM 评分标准生成与精炼
From Structure to Validity: Mechanism-Guided Generation and Refinement of LLM Rubrics
AI 导读
研究对 LLM 评分标准设计开展机制分析，发现结构化组织能构建更全面的评分准则，仅靠语义规范不足以保证准则级判断有效，复杂分数聚合带来的额外收益有限。基于此提出 ARTS-Hybrid，将自适应树构建与语义优先、响应校准的精炼相结合，在多个基准上同时提升端到端评估表现与评分标准本身的质量，其生成的评分标准还能为模型优化提供有效信号。
正文 · AI 翻译
摘要：评分标准已被广泛用于评估和优化开放式任务中的语言模型。然而，现有工作主要关注生成更好的评分标准，而对评分标准设计为何有效的理解仍然有限。在本工作中，我们对评分标准设计进行了系统性的机制分析，涵盖标准组织、标准操作化和分数聚合三个方面。我们的分析表明，结构化组织能够支持更全面的标准构建，仅靠语义规范并不能确保有效的标准级判断，而复杂的分数聚合带来的额外收益有限。基于这些发现，我们提出了自适应评分标准树搜索与混合精炼（ARTS-Hybrid），它将自适应树构建与语义优先、响应校准的精炼相结合。跨基准的实验表明，ARTS-Hybrid 同时提升了端到端评估性能和评分标准的内在质量。进一步的实验表明，除评估之外，ARTS-Hybrid 生成的评分标准还能为模型优化提供有效信号。
| 评论： | 提交至 ICLR 2027 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.13375 [cs.CL] |
| （或 arXiv:2610.13375v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.13375 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Xuan Chen [查看电子邮件]
[v1]
2026年10月9日星期五 10:48:51 UTC（605 KB）
来源：arXiv cs.CL · arxiv.org