把大语言模型当作评审小组中的一员：用语言模型评审组测量数据稀疏地区的政治立场

查看 PDF HTML（实验性）

摘要：大多数测量政治立场的工具，如宣言编码、专家调查和文本缩放模型，都是在西方政党体系上构建并验证的，而在许多关键行为体从不发布宣言、从不参加竞争性选举、或在章程中承诺一种立场却在执政时采取另一种立场的情况下，这些工具的表现最差。本文针对此类情境提出一种方法。我将大语言模型视为评审小组中一个可能出错的评分者，就像专家调查对待一位专家那样，并描述了该小组、其综合方式、一条使空白区别于零的适用性规则，以及一个将行为体所宣称的内容与其实际行为区分开的视角。由此得出三项结果。第一，一项内置实验分离出了评分标准的作用：在固定一轮无定义评分的情况下，书面轴定义使分数在 21 分制上平均变动 1.8 分，并使评分者之间的一致性收紧（平均绝对差距从 2.81 降至 2.50；r 从 0.81 升至 0.89）。第二，在来自两个国家八家实验室的九个模型中，Krippendorff's alpha 在区间度量上为 0.86，在序数度量上为 0.87，并且随着评审小组从五名评分者增至九名，该值保持稳定。这是信度，尚不能说明效度，因为在重叠数据上训练的模型可能共享一种偏差，而任何从这些模型计算出的统计量都无法检测到它。第三，该小组最尖锐的分歧，即对行为体对国家基础秩序立场的双峰式分歧，源于一个指称问题：模型在事实层面一致，但在哪种秩序算作政权上存在分歧。一项盲法三重编码将此类分歧的约三分之二归因于解释。示例应用为中东和北非地区，评分标准、提示词和数据均已完整发布。

评论：	14 页，2 幅图，7 张表。v2：修正了一个导入错误，该错误曾将某一模型的 154 条评分归到了错误的政党；所有图表均根据修正后的 v1.0 数据发布重新计算；双栏排版
主题：	计算机与社会（cs.CY）；人工智能（cs.AI）；计算与语言（cs.CL）；统计学应用（stat.AP）
ACM 分类：	I.2.7；J.4
引用为：	arXiv:2606.23042 [cs.CY]
	（或本版本使用 arXiv:2606.23042v2 [cs.CY]）
	https://doi.org/10.48550/arXiv.2606.23042 由 DataCite 颁发的 arXiv DOI

提交历史

来自：Tarek Gara [查看邮箱]
[v1] 2026 年 6 月 22 日星期一 08:48:50 UTC（34 KB）
[v2] 2026 年 10 月 27 日星期二 21:12:59 UTC（34 KB）