学者提出LLM政治社科研究可复现性框架

Joan C. Timoneda 与 Sebastián Vallejo Vera 针对大语言模型输出具有概率性、随模型和版本变化并影响下游统计结果的问题，提出一套可复现性框架：区分可复制性、可重现性与稳健性，并以结果分布而非相同输出作为概率性标准。 研究引入标准化提示词脚本，测试编码器与解码器的模型内变异，并开发误差结构分析，以诊断模型出错位置及误差是否一致。基于三个数据集，研究发现测量选择可逆转下游回归系数的符号。 研究进一步提出开放权重模型的堆叠集成，称其能在保持估计有效性的同时提升校正步骤的精度。

AI 根据报道生成 · 57 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。