研究：Arena-Hard聚合分掩盖评判波动
热点事件持续更新
研究：Arena-Hard聚合分掩盖评判波动
1 篇报道1 个报道来源11 小时前更新
先了解这件事
AI 综述
Louise Yorke 发表的研究显示，Arena-Hard 的相似聚合分数可能掩盖评判在单条判定上的大幅变化。研究固定两个模型的回答，用 500 条 Arena-Hard v2.0 提示词，让 GPT-4.1 在 criteria、输出格式与任务框架的八种组合下担任评判，并在 temperature 0 下重复运行。 研究发现，同一设置重复运行时，以及改变指令时，单条判定都会出现显著变化，但聚合分数仍可能相近。这意味着仅凭 Arena-Hard 聚合分数判断 LLM 评判稳定性并不可靠。
AI 根据报道生成 · 2 小时前更新
最新进展10月23日 12:00
聚合分数掩盖了什么：系统改变 Arena-Hard 的 LLM 评判设置揭示了什么报道时间线
沿着报道，了解事件的不同侧面。
10月23日
- arXiv cs.CY聚合分数掩盖了什么：系统改变 Arena-Hard 的 LLM 评判设置揭示了什么
研究用 500 条 Arena-Hard v2.0 提示词、固定两个模型的回答，让 GPT-4.1 在 criteria、输出格式与任务框架的八种组合下担任评判，并在 temperature 0 下重复运行。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。