arXiv cs.CL· Saber Zerhoudi·· 10 小时前AI 评分31
用户模拟器的共同偏差：模拟器分歧能否识别不可靠估计
Wrong Together: Shared Bias in User Simulation
AI 导读
研究用 6 个语言模型模拟器和 GlobalOpinionQA 中 12 个国家 60 个问题的现有回答，检验模拟器之间的分歧能否识别不可靠估计。分歧对组间差异的预测准确率高于单组回答比例（AUC 0.87 对 0.71），但模拟器共有的误差无法被该信号捕捉。用一组群体估计共同偏差并从另一组预测中减去后，预测误差下降而模拟器间分歧不变。
正文 · AI 翻译
摘要：用户模拟器代替人类参与者生成回答，使研究者能够估计研究结果。在收集人类回答之前使用这些估计，研究者需要一种评估其可靠性的方法。我们检验模拟器之间的分歧能否识别出对群体回答比例以及群体间差异的不可靠估计。我们使用 6 个语言模型模拟器和现有的 GlobalOpinionQA 回答，对 12 个国家中 60 个问题的回答进行评估。对于两个群体之间的差异，分歧对无效性的预测比单个群体的回答比例更准确（AUC 0.87 对 0.71）。模拟器共有的错误对该信号不可见。当这种错误对两个群体的影响相同时，它会在比较中抵消，这有助于解释群体差异方面更强的结果。我们通过使用一组群体估计共有偏差，并将其从另一组群体的预测中减去来检验这一解释。这种校正降低了预测误差，而不改变模拟器之间的分歧。在一项回顾性分析中，我们模拟将分歧最大的 20% 群体比较提交人工评估。在其余具有明确有效性判断的比较中，54.8% 被判定为无效，而提交前为 63.7%。
| 主题： | 计算与语言（cs.CL）；信息检索（cs.IR） |
| 引用为： | arXiv:2611.01354 [cs.CL] |
| （或 arXiv:2611.01354v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.01354 由 DataCite 颁发的 arXiv DOI（待注册） |
|
| 期刊 参考： | 第 40 届神经信息处理系统大会（NeurIPS 2026）。研讨会：用于模型评估与训练的接地用户模拟 |
提交历史
来自：Saber Zerhoudi [查看电子邮件]
[v1]
2026 年 10 月 31 日星期六 23:48:40 UTC（222 KB）
来源：arXiv cs.CL · arxiv.org