AGORA：按评审可靠性加权聚合LLM评分

Junhyung Ahn 等人提出 AGORA，一种基于项目反应理论的 LLM 评审聚合方法：把每个待评条目映射到单一潜在质量量表，用敏感度参数和有序评分阈值刻画每位评审，从而在无需人工标签的情况下，从全部条目联合学习各评审的可靠性，再据此加权聚合评分。 该方法的可靠性估计不依赖人工标注，而是由评审在全部条目上的评分模式共同推断；报道未给出与人工标注或其他聚合方法的对比结果，因此其实际效果尚未得到验证。

AI 根据报道生成 · 54 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。