arXiv cs.CL· Weronika {\L}ajewska, Paul Missault, George Davidson, Saab Mansour·· 11 小时前AI 评分31
RADIUS：面向调查模拟的排序、分布与显著性综合对齐评测套件
RADIUS: Ranking, Distribution, and Significance - A Comprehensive Alignment Suite for Survey Simulation
AI 导读
RADIUS 是一套用于评估 LLM 调查模拟的两维对齐评测套件，同时考察排序对齐与分布对齐，并附带统计显著性检验。实验显示，单一指标评测会掩盖模拟器的决策相关错误：在独立复现的模拟器上，分布对齐改善往往伴随对人类最偏好选项的误判。RADIUS 已开源，以支持可复现、可比较的调查模拟器评估。
正文 · AI 翻译
摘要：使用大语言模型模拟调查回答，为昂贵的人工数据收集提供了一种可扩展的替代方案，但评估方法仍停留在临时且不一致的状态。现有指标通常借用自相邻领域，侧重于准确性或分布相似性，却忽视了排序对齐——即模拟是否保留了在人类群体中观察到的相对偏好顺序。一个模拟器可能实现较低的分布散度，却无法识别人类最偏好的选项，这对决策类应用而言是一个关键缺口。我们提出 RADIUS，一个二维对齐套件，沿互补的两个轴评估调查模拟：1）RA 对齐，2）分布对齐，并辅以统计显著性检验。在多项社会调查和人物设定来源上的实验表明，RADIUS 揭示了单一指标评估的局限性，并具有更强的区分能力。在一个独立复现的模拟器上，我们进一步表明，分布上的改进往往伴随着对人类最偏好选项的误判——这是 RADIUS 能揭示而分布指标会遗漏的、与决策相关的错误。我们开源 RADIUS，以支持对调查模拟器进行可复现且可比较的评估。
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2603.19002 [cs.CL] |
| （或使用 arXiv:2603.19002v2 [cs.CL] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2603.19002 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Weronika Łajewska 博士 [查看邮箱]
[v1]
2026年3月19日 星期四 15:06:12 UTC（107 KB）
[v2]
2026年11月4日 星期三 11:39:28 UTC（294 KB）
来源：arXiv cs.CL · arxiv.org