研究：换掉注意力机制并未消除模型幻觉

一项 arXiv 研究通过干预实验检验大模型幻觉的结构性来源：在固定预训练数据、tokenizer 与模型规模的前提下，把 attention 换成状态空间混合器，在 130M 至 2.8B 的 5 组 Pythia/Mamba 配对模型及 4 个额外 attention 模型上测试 111 条事实。作者称，修订版新增了 14 个模型的匹配架构实验，并修正了前缀修复研究的统计。 该研究把幻觉归因于架构层面的结构性根源，并认为数据会放大这一效应；但上述结论来自作者自己的实验与表述，报道未给出独立验证。

AI 根据报道生成 · 48 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。