arXiv cs.CL· Jiahong Qian·· 3 天前AI 评分34
从不可靠到可用：LLM 实体抽取的失败模式与置信信号分解——来自网络威胁情报的证据
From Unreliable to Usable: Decomposing Failure Modes and Confidence Signals in LLM Entity Extraction - Evidence from Cyber Threat Intelligence
AI 导读
一项预注册冻结评测用 DeepSeek-V4-Flash、GLM-5.3-Flash 和 GPT-6.1-Sol 在 354 个事件活动语料上抽取实体，micro 精度仅 0.03-0.34，旗舰层级也未缩小差距。
正文 · AI 翻译
摘要：针对从完整文档中提取大语言模型（LLM）的审计报告显示其严重不可靠，留下两个悬而未决的问题：这些失败究竟由什么构成，以及置信度信号能否将不可靠的输出转化为可用的输出。我们对两个新一代低成本 LLM（DeepSeek-V4-Flash、GLM-5.3-Flash）以及一个旗舰级对照模型（GPT-6.1-Sol）进行了一项预注册、完全冻结的评估，评估对象是一个包含 354 个事件活动（315 份唯一报告、630 次模型-报告评估）的公开语料库，评分维度包括与金标准相比的提取质量、置信度校准以及对单句扰动的鲁棒性。得出三项发现。(1) 不可靠性在各层级间持续存在：在两个划分上，微观精确率为 0.03-0.34，言语化校准误差（ECE）为 0.53-0.94；这一差距在旗舰层级并未缩小。(2) 主要失败并非幻觉：一次完整的提及普查，加上对 360 个抽样候选的三级标注（两名来自未评估集合之外供应商的独立 LLM 标注者，在预注册接受线上 Cohen's kappa = 0.79，已完全披露），反推得出 65.6% 为背景提及、19.9% 为金标准范围缺口，仅有 1.2% 为无支持候选。(3) 置信度能排序但不能验证：零成本自洽频率分层在所有六个测试划分的模型-类型单元中均通过了预注册的前 30% 精确率增益门槛（训练集上为 4/6），零成本文本频率 × SC 频率组合在各单元中胜 3、平 2、负 1，然而对所有 45 个目标的关系级反事实表明，单句错误归因句在 95.6-100% 的情况下会翻转高置信度判断，甚至一句被明确标记为无关的背景句仍会在其中多达 26.7% 的情况下绑定一个虚假漏洞。我们以一条部署边界作结：置信度分层可以设定审查优先级，但绝不能代表真相。
| 评论： | 13 页：正文 7 页，在 8 页限制之内，另有限制、参考文献和附录 A-J。代码、协议和冻结的评估数据将公开 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.20417 [cs.CL] |
| （或本版本使用 arXiv:2610.20417v1 [cs.CL]） | |
| https://doi.org/10.48550/arXiv.2610.20417 arXiv 颁发的 DOI，经由 DataCite（待注册） |
提交历史
来自：Jiahong Qian [查看邮箱]
[v1]
2026 年 10 月 14 日星期三 16:13:09 UTC（460 KB）
来源：arXiv cs.CL · arxiv.org