arXiv以质量不达标撤下一篇评审评测论文
热点事件持续更新
arXiv以质量不达标撤下一篇评审评测论文
1 篇报道1 个报道来源10 小时前更新
先了解这件事
AI 综述
arXiv 管理员撤下了一篇题为《Reliability without Validity》的论文，理由是“不符合 arXiv 的研究内容质量标准”。该论文此前对 LLM-as-a-Judge 进行大规模系统评测，称精确匹配一致率会系统性高估评审模型的判别能力，在 MT-Bench 上精确匹配与 Cohen's kappa 的差距达 33–41 个百分点。撤稿由平台方作出，并非作者主动撤回，论文的具体评测结论是否成立，报道未给出进一步说明。
AI 根据报道生成 · 2 小时前更新
最新进展11月5日 13:00
研究：LLM-as-a-Judge 评测可靠性不等于有效性，21 个评审模型在一致性、偏差审计中暴露系统性缺陷报道时间线
沿着报道，了解事件的不同侧面。
11月5日
- arXiv cs.CL研究：LLM-as-a-Judge 评测可靠性不等于有效性，21 个评审模型在一致性、偏差审计中暴露系统性缺陷
一项对 LLM-as-a-Judge 的大规模系统评测发现，精确匹配一致率会系统性高估评审模型的判别能力，在 MT-Bench 上精确匹配与 Cohen's kappa 的差距达 33–41 个百分点。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。