arXiv cs.CL· Devansh Sharma, Faizul Rakib Sayem, Shahana Ibrahim·· 11 小时前AI 评分29
LOTUS：用低秩多线性分解检测 LLM 幻觉
LLM Hallucination Detection via Low-rank Multilinear Decomposition
AI 导读
研究者提出 LOTUS（Low-rank Order-statistic TUcker-based Subspace learning），一种基于多线性低秩分解的 LLM 幻觉检测框架，从隐藏状态中提取紧凑表示并降低对标注数据的依赖。
正文 · AI 翻译
摘要：大语言模型（LLM）经常生成流畅但事实上不正确的回答，这引发了对其可靠性的担忧。近期的幻觉检测器越来越多地利用内部表示，但从高维隐藏状态中提取有信息量的信号仍然具有挑战性。现有方法通常依赖选定的激活值或基于池化的压缩，可能忽略分布在 Transformer 层、特征模式和 token 上的判别性信息。我们提出 LOTUS（低秩阶统计量 TUcker 子空间学习），一种用于幻觉检测的多线性低秩分解框架，可从 LLM 隐藏状态中提取紧凑表示，同时减少对标注数据的依赖。我们的方法首先使用互补的统计描述符总结变长 token 表示，这些描述符捕捉峰值激活、激活分布和跨层变化。然后，我们利用低秩多线性分解提取紧凑表示，以捕捉 LLM 隐藏状态的底层结构，随后用于训练轻量级幻觉分类器。在多个 LLM 和问答基准上的实验表明，与近期最先进的基线相比，幻觉检测性能有所提升。
| 评论： | 26 页，3 幅图。代码：this https URL |
| 主题： | 计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.36191 [cs.CL] |
| （或 arXiv:2610.36191v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.36191 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Devansh Sharma [查看邮箱]
[v1]
2026 年 10 月 26 日星期一 19:24:13 UTC（349 KB）
来源：arXiv cs.CL · arxiv.org