研究:同一模型对差评投票逐月上升
热点事件持续更新
研究:同一模型对差评投票逐月上升
2 篇报道2 个报道来源1 小时前更新
先了解这件事
AI 综述
Zihan Chen、Lei Nico Zheng、Di Zhu 发表的一项研究称,人类对聊天机器人的评价标准会随时间上升,而非模型变差。研究基于 Chatbot Arena 2023 年 5 月至 2024 年 8 月的 1,260,967 条盲投,在只保留日期快照、固定开源权重等冻结模型对的情况下,对同一对版本固定的模型,认为“两者都差”的投票占比平均每月上升 1.71 个百分点(均值 17.1%),2024 年为每月 1.91 个百分点。 不过该研究分析同时指出,2024 年较强模型在决定性投票中的胜率份额基本不变,因此模型排名保持稳定。
AI 根据报道生成 · 51 分钟前更新
最新进展11月14日 00:11
Chatbot Arena 盲测分析:同一模型对的差评投票每月上升 1.71 个百分点报道时间线
沿着报道,了解事件的不同侧面。
11月14日
- RadarAIChatbot Arena 盲测分析:同一模型对的差评投票每月上升 1.71 个百分点
一项针对 Chatbot Arena 上 1,260,967 次盲测投票的研究分析发现,在只保留日期快照、固定开源权重等冻结模型对的情况下,同一对模型被投“两个都差”的比例每月上升 1.71 个百分点,基线均值为 17.1%。不过在 2024 年,较强模型在决定性投票中的胜率份额基本不变,因此模型排名保持稳定。
11月11日
- arXiv cs.CY研究:AI 没变笨,是人类评判标准在提高
一项基于 Chatbot Arena 2023 年 5 月至 2024 年 8 月 1,260,967 条盲投的研究发现,对同一对版本固定的模型,认为“两者都差”的投票占比平均每月上升 1.71 个百分点(均值 17.1%),2024 年为每月 1.91 个百分点。
本事件热度走势
- 可比范围当前
- 10
- 可比范围峰值
- 1011月14日 01:00
- 近 24 小时变化
- +180%
02.557.510
11月12日12:0011月13日12:0011月14日
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。