arXiv cs.CY· Elena Senger, Yuri Campbell, Rob van der Goot, Barbara Plank·· 16 小时前AI 评分42
高分下的隐藏失败：评估基于编码手册的 LLM 内容分析
High Scores, Hidden Failures: Evaluating Codebook-Based LLM Content Analysis
AI 导读
一项覆盖四个数据集、五个模型的大规模实证分析发现，基于编码手册的 LLM 内容分析流程在标准指标下高分频现，却同时存在严重的标签级差异、多次运行不稳定、领域敏感和标签解释漂移等失败模式。这些失败模式在准确率和 micro-F1 等聚合指标下几乎不可见，且在常用优化策略下依然存在。研究结论是，当前 LLM 编码流程在缺乏针对性验证时不能被视为稳定的测量工具。
正文 · AI 翻译
摘要：大语言模型（LLM）越来越多地被用于计算社会科学中基于码本的内容分析，其中码本将理论概念转化为标注方案。尽管已有研究报告了强劲的预测性能，但这些系统能否产生可靠且稳健的文本标注仍不清楚。我们通过系统评估基于 LLM 的编码流程在受控扰动、领域偏移和优化程序下的稳定性、稳健性和概念有效性，对四个数据集和五个模型进行了大规模实证失效模式分析。我们发现了多种在标准指标下基本不可见的失效模式，表明高总体得分常常与严重的标签级差异、多次运行间的不稳定性、领域敏感性以及标签解释偏移并存。重要的是，这些失效模式在广泛使用的优化策略下依然存在，并且在准确率和 micro-F1 等标准指标下仍基本不可见。我们的结果表明，若不进行超出总体性能的有针对性验证，当前基于 LLM 的编码流程不能被当作稳定的测量工具。
| 评论： | EMNLP Findings 2026 |
| 主题： | 计算与语言（cs.CL）；计算机与社会（cs.CY） |
| 引用为： | arXiv:2610.35179 [cs.CL] |
| （或 arXiv:2610.35179v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.35179 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Elena Senger [查看邮箱]
[v1]
2026年10月26日 星期一 10:40:54 UTC（170 KB）
来源：arXiv cs.CY · arxiv.org