跳到正文
热点事件持续更新

研究:同一模型对差评投票逐月上升

2 篇报道2 个报道来源1 小时前更新

先了解这件事

AI 综述

Zihan Chen、Lei Nico Zheng、Di Zhu 发表的一项研究称,人类对聊天机器人的评价标准会随时间上升,而非模型变差。研究基于 Chatbot Arena 2023 年 5 月至 2024 年 8 月的 1,260,967 条盲投,在只保留日期快照、固定开源权重等冻结模型对的情况下,对同一对版本固定的模型,认为“两者都差”的投票占比平均每月上升 1.71 个百分点(均值 17.1%),2024 年为每月 1.91 个百分点。 不过该研究分析同时指出,2024 年较强模型在决定性投票中的胜率份额基本不变,因此模型排名保持稳定。

AI 根据报道生成 · 51 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月14日
  1. RadarAI
    Chatbot Arena 盲测分析:同一模型对的差评投票每月上升 1.71 个百分点

    一项针对 Chatbot Arena 上 1,260,967 次盲测投票的研究分析发现,在只保留日期快照、固定开源权重等冻结模型对的情况下,同一对模型被投“两个都差”的比例每月上升 1.71 个百分点,基线均值为 17.1%。不过在 2024 年,较强模型在决定性投票中的胜率份额基本不变,因此模型排名保持稳定。

11月11日
  1. arXiv cs.CY
    研究:AI 没变笨,是人类评判标准在提高

    一项基于 Chatbot Arena 2023 年 5 月至 2024 年 8 月 1,260,967 条盲投的研究发现,对同一对版本固定的模型,认为“两者都差”的投票占比平均每月上升 1.71 个百分点(均值 17.1%),2024 年为每月 1.91 个百分点。

本事件热度走势

可比范围当前
10
可比范围峰值
1011月14日 01:00
近 24 小时变化
+180%

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。