arXiv cs.AI· Aizierjiang Aiersilan·· 11 小时前AI 评分38
量化 LLM 的中层隐藏状态可线性解码幻觉信号
Hallucination Is Linearly Decodable from Mid-Layer Hidden States in Quantized LLMs
AI 导读
研究在 4-bit NF4 量化的 Llama-3.1-8B、Mistral-7B、Qwen2.5-7B 上发现，单个中层隐藏状态的线性探针在 TruthfulQA、HaluEval-QA、FEVER 等基准的留出集上达到 0.904–1.000 AUROC，而采样类检测器在同一协议下不超过 0.541 AUROC。
正文 · AI 翻译
摘要：我们研究开源 LLM 是否在其隐藏状态中编码了线性可分的真实性信号，以及该信号在哪个网络深度最强。在三个以 $4$ 位 NF4 量化加载的 $7$B--$8$B 指令微调模型（Llama-3.1-8B、Mistral-7B、Qwen2.5-7B）上，我们在四个幻觉基准（TruthfulQA、HaluEval-QA、FEVER 以及一个受控合成集）上提取逐层隐藏状态，并比较四种检测方法：线性与 MLP 探针、INSIDE EigenScore、自一致性以及注意力熵。在留出划分上，单个网络中间层的线性探针达到 $0.904$--$1.000$ AUROC，而基于采样的检测器在同一协议下不超过 $0.541$ AUROC。真实性信号近似线性：MLP 探针很少比线性探针高出超过 $0.01$ AUROC。在自然语言基准上，峰值探测层在各模型家族中落在一个一致的区间——Llama 和 Mistral 为 $32$ 层中的第 $13$--$18$ 块，Qwen 为 $28$ 层中的第 $19$--$25$ 块。第一块注意力熵在知识接地的设置中提供了一种互补信号（在 HaluEval-QA 上为 $0.866$--$0.941$ AUROC），且不增加额外推理成本。采样方法在该协议下判别力低，反映的是配对标签评估与这些方法所访问的信息之间的结构性不匹配，而非这些方法本身的固有局限。代码和数据已发布，可在单块 $8$\,GB GPU 上完全复现。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL）；新兴技术（cs.ET）；神经与进化计算（cs.NE） |
| 引用为： | arXiv:2606.02628 [cs.LG] |
| （或 arXiv:2606.02628v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2606.02628 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Aizierjiang Aiersilan [查看电子邮件]
[v1]
2026 年 5 月 30 日星期六 02:04:30 UTC（1,230 KB）
来源：arXiv cs.AI · arxiv.org