跳到正文
热点事件持续更新

研究:模拟器分歧可识别不可靠估计,但共享偏差难捕捉

1 篇报道1 个报道来源9 小时前更新

先了解这件事

AI 综述

Saber Zerhoudi 提交的论文检验用户模拟器之间的分歧能否识别不可靠的群体回答估计。研究用 6 个语言模型模拟器和 GlobalOpinionQA 中 12 个国家 60 个问题的现有回答测试:分歧对组间差异的预测准确率高于单组回答比例(AUC 0.87 对 0.71),但模拟器共有的误差无法被这一信号捕捉。 研究还尝试用一组群体的估计来测量共同偏差,再从另一组的预测中减去;结果显示预测误差下降,而模拟器间的分歧不变。

AI 根据报道生成 · 42 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月4日
  1. arXiv cs.CL
    用户模拟器的共同偏差:模拟器分歧能否识别不可靠估计

    研究用 6 个语言模型模拟器和 GlobalOpinionQA 中 12 个国家 60 个问题的现有回答,检验模拟器之间的分歧能否识别不可靠估计。分歧对组间差异的预测准确率高于单组回答比例(AUC 0.87 对 0.71),但模拟器共有的误差无法被该信号捕捉。用一组群体估计共同偏差并从另一组预测中减去后,预测误差下降而模拟器间分歧不变。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。