arXiv cs.CL· Riccardo Loconte, Jonas Festor, Zane Fatjanova, Mariam Bolkvadze, Bennett Kleinberg·· 9 天前AI 评分39
自动语言欺骗检测存在持续准确率天花板
A persistent accuracy ceiling in automated verbal deception detection
AI 导读
一项系统综述与元分析发现，自动语言欺骗检测的汇总准确率为 74.4%（95% CI：71.2%-77.4%），与人工方法相当，暗示 70-75% 的准确率天花板。
正文 · AI 翻译
摘要：为克服人工言语欺骗检测的局限性，人们已提出自动化方法，但相关证据分散于各学科。我们系统回顾了 25 年的研究（289 篇报告、6,136 个分类模型），并对嵌套于 97 个数据集中的 3,653 个模型进行了元分析。合并准确率为 74.4%（95% CI：71.2%-77.4%），异质性显著。准确率更多由方法学质量（真实标签、数据来源、类别平衡、评估流程）驱动，而非模型复杂度：采用嵌入和大语言模型并未转化为预测性能的提升。仅 12.46% 的报告使用了具有可验证真实标签的数据，仅 23.96% 的模型在独立数据上进行了评估。该合并准确率与人工方法的元分析结果一致，表明存在 70-75% 的上限，且不太可能被当前的研究惯例所突破。
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.12118 [cs.CL] |
| （或 arXiv:2610.12118v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.12118 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Riccardo Loconte [查看电子邮件]
[v1]
2026 年 10 月 8 日星期四 15:15:32 UTC（3,238 KB）
来源：arXiv cs.CL · arxiv.org