arXiv cs.CY· Joan C. Timoneda, Sebasti\'an Vallejo Vera·· 10 小时前AI 评分31
政治与社会科学研究中使用大语言模型的可复制性、可重现性与稳健性
Replicability, Reproducibility, and Robustness in Political and Social Science Research with Large Language Models
AI 导读
针对 LLM 输出具有概率性、随模型和版本变化并影响下游统计结果的问题，该研究区分了可复制性、可重现性与稳健性，提出基于结果分布而非相同输出的概率性标准。研究引入标准化提示词脚本，测试编码器与解码器的模型内变异，并开发误差结构分析以诊断模型出错位置及误差是否一致。基于三个数据集，测量选择可逆转下游回归系数的符号；研究提出开放权重模型的堆叠集成，在保持估计有效性的同时提升校正步骤的精度。
正文 · AI 翻译
摘要：本章探讨大语言模型研究中的核心可复现性问题。LLM 的输出具有概率性，并且会因模型和版本不同而变化，这可能对下游统计结果产生显著影响。本章区分了可重复性、可复现性和稳健性，并提出一种基于结果分布而非相同输出的概率性标准。本章引入标准化提示脚本，检验编码器和解码器的模型内变异，并开发误差结构分析，以诊断模型在何处出错以及其错误是否一致。本章使用三个数据集表明，测量选择可能逆转下游回归系数的符号。现有的基于设计的校正方法配合金标准标注子样本可恢复有效性，但以估计精度为代价。本章的主要贡献是一种开放权重模型的堆叠集成，它在保持估计有效性的同时提高了校正步骤的精度。
| 评论： | 《LLMs in Political and Social Science: Principles and Applications of Transformer Models》第 5 章，牛津大学出版社，2027 年即将出版。数据与代码：此 https URL |
| 主题： | 计算与语言（cs.CL）；计算机与社会（cs.CY） |
| 引用为： | arXiv:2611.06639 [cs.CL] |
| （或 arXiv:2611.06639v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.06639 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Joan C. Timoneda [查看电子邮件]
[v1]
2026 年 11 月 4 日星期三 15:20:03 UTC（230 KB）
来源：arXiv cs.CY · arxiv.org