arXiv cs.AI· Marco Tonin, Michele Tizzoni, Bruno Lepri, Luca Maria Aiello·· 11 小时前AI 评分31
用调查受访者报告的党派接触验证 LLM 生成的政治网络
Validating LLM-generated political networks with survey-reported partisan exposure
AI 导读
研究用 ANES 2020–2022 社交媒体调查中抽样的 persona 生成 LLM 政治网络,并以受访者自报的党派接触作为实证基准进行验证。部分模型生成的民主党与共和党 ego 之间隔离强于调查结果,同党接触更高、跨党接触更低,另一些模型则整体低估共和党接触。
正文 · AI 翻译
摘要:大语言模型(LLM)越来越多地被用于模拟社会科学研究中的人类行为,包括决策、互动和社会关系。然而,在网络形成任务中,现有评估往往聚焦于网络的聚合属性,而具有看似合理结构属性的网络仍可能无法复现个体的社会和政治环境。在此,我们使用从具有全国代表性的 ANES 2020--2022 社交媒体研究中抽样的角色画像生成基于 LLM 的政治网络,并以受访者调查报告中报告的党派接触情况作为经验基准,用于评估为相应角色画像生成的政治环境。我们首先刻画所生成网络的结构属性和政治同配性,然后将自我层面的党派接触与调查结果进行比较。我们发现,所生成网络的结构和政治同配性因实验配置而异。更重要的是,在将生成的党派接触与调查结果进行比较时,一些模型在民主党与共和党自我之间产生的分隔强于调查所报告的情况,同党派接触更高、跨党派接触更低,而另一些模型则主要低估了各自我群体中共和党的接触。此外,具有相似政治同配性的网络仍可在相同角色画像周围生成不同的党派环境,包括在具有看似合理结构属性的网络之间。最后,生成的网络显示出群体特定误差,对特定社会群体接触民主党人或共和党人的情况存在低估或高估。这些发现表明,仅通过聚合结果评估基于 LLM 的社会模拟,可能会掩盖这些结果所由产生的局部环境中的误差,凸显了在聚合层面和个体层面同时进行验证的重要性。
| 主题: | 社会与信息网络(cs.SI);人工智能(cs.AI);物理与社会(physics.soc-ph) |
| 引用为: | arXiv:2610.23199 [cs.SI] |
| (或 arXiv:2610.23199v1 [cs.SI] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2610.23199 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Marco Tonin [查看电子邮件]
[v1]
2026年10月16日星期五 09:38:11 UTC(1,278 KB)
来源:arXiv cs.AI · arxiv.org