Hugging Face Daily Papers· Markus Frohmann·· 22 天前AI 评分22
同等排序质量，不同决策：测量与降低 LLM 评分器的顺序依赖
Equal Ranking Quality, Different Decisions: Measuring and Reducing Order Dependence in LLM Scorers
AI 导读
LLM 评分器在同一 prompt 中为多个候选文档或回答打分时，候选顺序变化会改变分数，进而影响阈值筛选、阅读器答案和偏好训练数据的决策。研究发现同等排序质量并不代表决策一致，并提出测量与降低这种顺序依赖的方法。
来源：Hugging Face Daily Papers · huggingface.co