arXiv cs.CL· Franco Corti, Sajid Siraj·· 10 小时前AI 评分31
用 LLM 评审团给 2024 欧盟选举宣言的环境立场打分效果如何？
How Green Is Your Manifesto? Scoring Environmental Positions in the 2024 EU Elections with an LLM Panel
AI 导读
研究用三家独立厂商的 LLM 组成评审团，对 2024 欧洲议会选举中奥地利、法国、德国、意大利、西班牙及欧洲党团的 41 份宣言逐句打分，区分环境保护与气候变化两个维度上的立场和议题显著性。
正文 · AI 翻译
摘要：在环境与气候政策上定位政党是政党竞争研究的核心，但现有工具——专家调查与宣言的人工编码——成本高昂、周期性强，且难以快速扩展到新文档。我们探究一组大语言模型能否作为更廉价且可复现的替代方案。将每份宣言视为一组句子，来自独立提供方的三个模型对每个句子在两个维度上打分，即环境保护与气候变化，将政党在某一议题上的立场与其赋予该议题的显著性区分开来，并将判断平均至宣言层面。模型间的一致性被保留为内置的可靠性信号。我们将该模型组应用于2024年欧洲议会选举的41份宣言，覆盖奥地利、法国、德国、意大利、西班牙以及欧洲政党家族，并以2024年Chapel Hill专家调查对25个政党的同口径专家基准进行验证，其余宣言作为诊断案例。该模型组在恢复专家对政党的排序方面，在两个维度上均表现出很强的秩一致性，同时将其解读为系统性地比专家更偏绿色，我们将这一差距解释为宣言承诺与执政记录之间的距离。模型间分歧适度地标示出该工具出错之处，且立场与显著性在环境保护上相关，但在气候变化上相互独立。其成果是一个透明、低成本且多语言的工具，它补充而非取代专家与人工编码方法；提示词、代码及宣言层面结果均已公开。
| 学科： | 计算与语言（cs.CL）；计算机与社会（cs.CY）；一般经济学（econ.GN） |
| 引用为： | arXiv:2611.02033 [cs.CL] |
| （或 arXiv:2611.02033v1 [cs.CL] 为此版本） | |
| https://doi.org/10.48550/arXiv.2611.02033 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Sajid Siraj [查看邮箱]
[v1]
2026年11月1日周日 16:27:18 UTC（83 KB）
来源：arXiv cs.CL · arxiv.org