并非所有标准都同等重要：面向评分标准式 LLM 评估的重要性感知标准加权

Not All Criteria Matter: Importance-Aware Criteria Weighting for Rubric-Based LLM Evaluation

AI 导读

针对评分标准式 LLM 评估中统一加权会高估次要、重叠标准的问题，研究者提出重要性感知标准加权（ICW），将 LLM 对全部标准的整体判断拆解为一系列两两重要性比较，检查并修正不一致比较，再从比较矩阵的主特征向量推导权重。实验显示 ICW 持续优于统一加权及竞争性加权方法，并在下游强化学习中转化为更好的策略模型。

正文 · AI 翻译

查看 PDF HTML（实验性）

摘要：基于量规的评估通过汇总明确标准的验证结果来评估大语言模型（LLM）的响应，但并非所有标准都同等重要。然而，现有方法通常以均匀权重汇总验证结果，将次要和重叠的标准赋予与关键标准相同的权重，从而产生误导性的评估分数。尽管一些方法提示 LLM 直接分配权重，但直接加权需要对所有标准进行整体判断，而 LLM 难以可靠地做到这一点。为解决这些局限，我们提出了重要性感知标准加权（ICW），它从 LLM 进行的成对重要性比较中推导出标准的权重。具体而言，ICW 将对所有标准的整体判断转化为一系列成对重要性比较，检查并修正不一致的比较，并从比较矩阵的主特征向量中推导出权重。大量实验表明，ICW 始终优于均匀加权和有竞争力的加权方法，并在下游强化学习中转化为更好的策略模型。

学科：	计算与语言（cs.CL）
引用为：	arXiv:2610.19915 [cs.CL]
	（或 arXiv:2610.19915v1 [cs.CL] 用于此版本）
	https://doi.org/10.48550/arXiv.2610.19915 arXiv 颁发的 DOI 通过 DataCite（待注册）

提交历史

来自：Haocheng Yang [查看电子邮件]
[v1] 2026年10月14日星期三 10:05:43 UTC（506 KB）

来源：arXiv cs.CL · arxiv.org