研究者发布 ConfabQA 基准并分析小模型幻觉几何

研究者 Vladimir Kazei 发布 ConfabQA 基准（784 项），并据此分析小语言模型在首个生成 token 前隐藏状态的几何结构。该基准含“冷门且早于知识截止”类别，作者称其可打破正确性与知识截止的常见混淆。 在 Qwen3-1.7B 和 Gemma 2 2B 上，线性探针区分模型即将拒答还是即将幻觉的准确率，比基于提示词特征的基线分别高 7.4 和 16.3 个百分点。沿拒答向量方向施加不超过状态自身范数的推动，可将多数幻觉翻转为以“As...”开头的拒答。 作者表示已公开基准、评判器和代码。

AI 根据报道生成 · 46 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。