研究提出RCG指标,六款LLM未覆盖人类受访者
热点事件持续更新
研究提出RCG指标,六款LLM未覆盖人类受访者
1 篇报道1 个报道来源11 小时前更新
先了解这件事
AI 综述
日本研究者Yusuke Kumagae与Masahiro Kaneko提出“受访者覆盖缺口”(RCG)指标,用完整答案画像衡量人类受访者与LLM生成受访者之间的距离。 在两份美国社会调查上,评估的六款LLM均未覆盖人类受访者:主要设置下,其表现不及按人类边际分布独立采样各答案的基线;在所有测试的提示与推理设置中,每款LLM的RCG都高于拟合人类数据的高斯copula。 该结果针对的是答案分布吻合但受访者层面不匹配的问题,即硅采样答案分布接近人类,并不代表生成受访者能代表真实个体。
AI 根据报道生成 · 2 小时前更新
最新进展10月23日 12:00
研究提出受访者覆盖缺口 RCG:六款 LLM 的硅采样答案分布吻合但受访者不匹配报道时间线
沿着报道,了解事件的不同侧面。
10月23日
- arXiv cs.CY研究提出受访者覆盖缺口 RCG:六款 LLM 的硅采样答案分布吻合但受访者不匹配
研究提出受访者覆盖缺口(RCG)指标,以完整答案画像衡量人类受访者与 LLM 生成受访者之间的距离。在两份美国社会调查上,评估的六款 LLM 均未覆盖人类受访者,主要设置下表现不及按人类边际分布独立采样各答案的基线。所有测试的提示与推理设置中,每款 LLM 的 RCG 都高于拟合人类数据的高斯 copula。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。