Hugging Face Daily Papers· Milad Yazdani·· 20 天前AI 评分27
基于项目反应理论的 Rubric 奖励
Rubric Rewards from Item Response Theory
AI 导读
针对无单一标准答案的语言任务,研究提出用项目反应理论(IRT)聚合 rubric 判定结果,替代将各条满足标准得分简单相加的做法,以缓解不同判定模式得到相同奖励的问题。该方法还试图减少 rubric 标准数量增长时所需的评判请求数。
来源:Hugging Face Daily Papers · huggingface.co