arXiv cs.CL· Alexandra Kuleshova, Andrey Volodichev, Daria Kotova, Alexey Zaytsev·· 11 小时前AI 评分31
LLM 如何藏在暗空间：从 Unembedding 暗空间读取上下文依赖
What LLMs Do in the Shadows: Reading Context Reliance from the Unembedding Dark Space
AI 导读
研究者提出 DarkLens，一种仅需单次前向传播的轻量忠实性检测器，通过将隐藏状态投影到与 unembedding 矩阵弱组合的"暗空间"来估计上下文依赖。该子空间中隐藏状态范数的占比被称为 Dark Matter Ratio（DMR），与参数知识得分结合后构成 DarkLens。
正文 · AI 翻译
摘要：检测大语言模型（LLM）中的忠实性幻觉对于其在高风险领域的安全部署至关重要。近期方法通过对比上下文知识与参数化知识的利用情况来解决这一问题，但衡量上下文依赖通常需要明显的额外开销，例如生成注意力图、运行额外的前向传播或训练辅助探针。在本工作中，我们表明上下文依赖可以通过将隐藏状态投影到暗空间——即与反嵌入矩阵组合较弱的那些方向——来估计。除了其作为初始 token 注意力汇的已知功能外，我们还表明该子空间主动介导上下文处理，并且其在隐藏状态范数中所占的比例——称为暗物质比率（DMR）——提供了上下文利用的直接评分。将 DMR 与参数化知识评分配对，得到 DarkLens，一个严格在单次前向传播内运行的轻量级忠实性检测器。在六个开放权重 LLM（4B-13B 参数）上的三个问答与摘要基准上评估，DarkLens 在无需额外前向传播或探针训练的情况下，达到或超过了广泛的基线方法。
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.23182 [cs.CL] |
| （或 arXiv:2610.23182v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.23182 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Alexandra Kuleshova [查看邮箱]
[v1]
2026年10月16日星期五 09:21:49 UTC（300 KB）
来源：arXiv cs.CL · arxiv.org