研究：用户声称偏好难预测AI回复评分

Zihan Chen、Lei Nico Zheng、Di Zhu 发表研究，比较 PRISM 数据集中 1,396 名参与者声明的七项回复属性偏好与其对 21 个 LLM 共 29,347 条回复的实际评分。研究发现，回复长度、格式和拒答措辞等调查未问及的特征，与评分的关联至少与所调查属性的文本代理指标一样强。 研究还发现，参与者若在书面反馈中要求更短回答，评分时对长度的权重更低，反之亦然；但其声明的属性优先级无法预测这一权重。利用个人信息预测留出选择的最大提升仅 0.13 个百分点，更强的池化模型为 1.11 个百分点。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。