arXiv cs.CL· Vladimir Kazei·· 10 小时前AI 评分38
小语言模型幻觉与拒答的几何结构：ConfabQA 基准与隐藏状态干预
Geometry of Confabulation and Refusal in Small Language Models
AI 导读
研究者提出 ConfabQA 基准（784 项），用线性探针、稀疏自编码器（SAE）和直接优化干预方向刻画小模型首个生成 token 前隐藏状态的几何结构。在 Qwen3-1.7B 和 Gemma 2 2B 上，探针区分即将拒答与幻觉的准确率比提示词特征基线高 7.4/16.3 个百分点；沿拒答向量方向施加不超过状态自身范数的推动，可将多数幻觉翻转为以“As...”开头的拒答。
正文 · AI 翻译
摘要：面对无法回答的问题，小型语言模型要么拒绝回答，要么编造：自信地给出错误答案。第一个生成 token 之前的隐藏状态能否提供线索？我们能否将编造翻转为拒绝？我提出了 ConfabQA，一个包含 784 个条目的基准，其 obscure-pre-cutoff 类别打破了典型的正确性/知识截止混淆，并用线性探针、稀疏自编码器（SAE）和干预方向的直接优化来映射隐藏状态的几何结构。在 Qwen3-1.7B 和 Gemma 2 2B 上，探针将即将发生的拒绝与编造区分开来的效果远超提示特征（+7.4/+16.3 个百分点）；在 Llama 3.2 3B 上，ConfabQA 的差距在折间波动范围内，但在 PopQA 和 TriviaQA 上的直接拒绝探针恢复了 +18-25 个百分点。在 Qwen 上，我仔细检查了拒绝向量的三个候选方向：探针恢复的、Qwen-Scope SAE 特征和直接优化的。尽管这三个方向两两相差 50-81 度，但沿其中任一方向以等于或低于状态自身范数的幅度推动，都能将大多数编造翻转为以“As...”家族为主的拒绝开头。在不触及隐藏状态的情况下强制开头，与任何推动一样，都能得到三分之一的判定拒绝率。相反的推动将拒绝主要坍缩为编造，但保持原本正确的答案不变，因此该方向门控的是开头言语行为，而非其背后的知识。在 Qwen3-1.7B 上，编造并未在字典中解析为集中特征或 token 签名。在四个提示特征基线中最强者的边际上对每个探针评分，可提取隐藏状态自身的贡献。正确性信号依赖于模型，且仅对 Llama 3.2 3B 可移植：探针相对于测试多数类的边际中有 81% 在 ConfabQA、PopQA 和 TriviaQA 之间迁移后仍然存在。基准、评判器和代码已发布。
| 评论： | 35 页，16 幅图，19 张表。代码、数据和 ConfabQA 基准：此 https URL |
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2611.01272 [cs.LG] |
| （或 arXiv:2611.01272v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.01272 arXiv 发布的 DOI 通过 DataCite（待注册） |
提交历史
来自：Vladimir Kazei [查看电子邮件]
[v1]
2026 年 10 月 31 日星期六 21:14:26 UTC（2,935 KB）
来源：arXiv cs.CL · arxiv.org