arXiv cs.AI· Andrei Volodichev, Maksim Savichev, Nikita Sviridov, Artem Yuliy, Dmitry Simakov, Alexey Zaytsev·· 2 天前AI 评分24
带统计量的 FlashAttention：面向紧凑幻觉检测器的低开销注意力特征
FlashAttention with Statistics: Low-Overhead Attention Features for Compact Hallucination Detectors
AI 导读
研究者提出在 FlashAttention 前向过程中直接累积注意力权重统计量，无需物化注意力矩阵，即可为幻觉检测器提供特征。在 H100 上，五个已发表检测器的统计量使 Qwen3-8B 在 2K token 时的前向延迟增加 16%，35K token 时降至 1.4%，每响应 token 仅存 22.5 KiB。
正文 · AI 翻译
摘要：大型语言模型可能生成所给上下文并不支持的流畅回答。一个紧凑的冻结代理模型可以通过读取上下文和另一个模型的回答来检测此类回答，即使该回答来自专有生成器。基于注意力的检测器使用代理注意力权重的汇总统计量，但标准流程会实体化注意力矩阵，其内存随序列长度呈二次增长。我们在不实体化注意力的情况下计算这些统计量，方法包括在 FlashAttention 过程中累加、在其后进行稀疏查找，或对分数进行第二次分块遍历，并据此路径将其分类为近乎免费和代价较高的两类。在 H100 上，五个已发表检测器的统计量在 2K token 时使 Qwen3-8B 前向传播的延迟增加 16%，在 35K 时降至 1.4%，并且每个回答 token 存储 22.5 KiB。在三个基准上，在 0.6B 至 8B 参数的冻结 Qwen3 代理上训练的探针被证明是强检测器：一个 4B 代理在三个基准中的两个上，其 F1 优于九个零样本 4-9B LLM 评判器中最强的一个；这些代理与多达 7B 参数的专用接地检查器持平或更优；对每个代理进行探针检测都优于将其作为评判器进行提示；并且在 12 个基准-代理对中，有一半加入注意力特征显著提高了 F1，且从未显著降低。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.21483 [cs.AI] |
| （或 arXiv:2610.21483v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.21483 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Andrei Volodichev [查看电子邮件]
[v1]
2026年10月15日星期四 08:23:42 UTC（427 KB）
来源：arXiv cs.AI · arxiv.org