跳到正文
Hugging Face Daily Papers· Milad Yazdani·· 20 天前AI 评分27

基于项目反应理论的 Rubric 奖励

Rubric Rewards from Item Response Theory

AI 导读

针对无单一标准答案的语言任务,研究提出用项目反应理论(IRT)聚合 rubric 判定结果,替代将各条满足标准得分简单相加的做法,以缓解不同判定模式得到相同奖励的问题。该方法还试图减少 rubric 标准数量增长时所需的评判请求数。

来源:Hugging Face Daily Papers · huggingface.co