arXiv cs.CL· Md. Rejaul Korim Sadi, Toufiqur Rahman Tasin, Golam Mostofa Naeem·· 10 小时前AI 评分47
从架构到输出：测试模型幻觉的结构性根源与数据的放大作用
From Architecture to Output: Testing the Structural Origins of Hallucination and the Amplifying Role of Data
AI 导读
一项 arXiv 研究用干预实验检验幻觉的结构性解释：固定预训练数据、tokenizer 与规模，将 attention 换成状态空间混合器，在 130M 至 2.8B 的 5 组 Pythia/Mamba 配对及 4 个额外 attention 模型上测试 111 条事实。
正文 · AI 翻译
摘要：关于幻觉的综述按输出与来源的关系对错误进行分类，并常常用模型的结构来解释这些错误：注意力通过关联进行检索，最大似然目标中没有真值项，从左到右的解码会过早确定早期 token。按照这种解释，数据会使这些失败更严重，而不是导致它们。这种解释通常是论证出来的，而非经过检验。我们用只需采样访问的干预来检验它。研究 1 固定预训练数据、分词器和规模，将注意力替换为状态空间混合器，使用从 130M 到 2.8B 参数的五个 Pythia/Mamba 配对以及另外四个注意力模型，在 111 个事实（以植入的虚假陈述或植入的真实陈述呈现）上进行测试。替换混合器后，自由回忆失败保持不变（两个 2.8B 模型在 200 个 SimpleQA 问题中都答对 3 个），但它改变了输入中缺陷的后果。从 410M 起，每个注意力模型都比其匹配的状态空间模型更频繁地重复植入的虚假信息（2.8B：666 项中 650 对 566，p = 2.5e-20），在两个模型都知道的事实上也是如此，而状态空间模型仍能读出它们不知道的植入事实。研究 2 替换了三个指令微调模型的 111 个错误答案中的第一个错误事实。正确事实将带有下游错误的答案比例从 92.5% 降至 48.1%，但另一个错误事实同样有效（p = 0.38），并且模型在孤立情况下仅对 111 项中的 2 项给出正确答案。结构解释以更窄的形式成立。混合组件决定上下文中的缺陷是否会变成输出错误，承诺决定错误如何传播，而在长尾问题上，第一个错误来自缺失的知识，而非被压制的真相。
| 评论： | 16 页，4 幅图，4 张表。大幅修订：增加了匹配架构研究（14 个模型）以及前缀修复研究的修正统计。数据和代码见附件文件 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG） |
| ACM 分类： | I.2.7；I.2.6 |
| 引用为： | arXiv:2606.07537 [cs.CL] |
| （或 arXiv:2606.07537v3 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2606.07537 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Md. Rejaul Korim Sadi [查看电子邮件]
[v1]
2026 年 4 月 29 日星期三 11:34:09 UTC（1,311 KB）
[v2]
2026 年 9 月 4 日星期五 15:29:54 UTC（103 KB）
[v3]
2026 年 11 月 9 日星期一 21:20:10 UTC（5,559 KB）
来源：arXiv cs.CL · arxiv.org