跳到正文
热点事件持续更新

研究:GPT-4o政策分类准确率尚可但标签不稳

1 篇报道1 个报道来源9 小时前更新

先了解这件事

AI 综述

Louise Yorke 等发表的研究用 8 种 GPT-4o 配置对 1,200 条英国首相问答做 21 类政策主题分类,准确率为 68.2%–70.3%,但 24.3% 的问题在重复运行中标签发生变化。研究还发现,各配置之间的一致性高于它们与人工编码的一致性。 研究据此提出,公共服务中的 AI 保障不能只看准确率,还需关注重复运行下的稳定性以及与人工判断的偏差。

AI 根据报道生成 · 59 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月5日
  1. arXiv cs.CY
    超越准确率:AI 保障在公共服务中需要确立什么

    研究用 8 种 GPT-4o 配置对 1,200 条英国首相问答做 21 类政策主题分类,准确率 68.2%–70.3%,但 24.3% 的问题在重复运行中标签发生变化,且各配置之间的一致性高于与人工编码的一致性。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。