arXiv cs.AI· Firas Spanioli, Yaniv David·· 10 小时前AI 评分34
GateWatch:用布尔电路实现低开销 LLM 监控
GateWatch: Low-Overhead LLM Monitoring with Boolean Circuits
AI 导读
GateWatch 用少量二值化 SAE 特征上的显式布尔逻辑构成紧凑可解释分类器,在 Gemma-2-9B 的 24 个任务上平均仅用 3.8 个 SAE 特征和 3.5 个逻辑门,即达到 80.49% 平均测试准确率,仅比完整 16K 特征 SAE 探针低 1.17 个百分点,探针内存减少 99.98%。
正文 · AI 翻译
摘要:随着大语言模型(LLM)及基于 LLM 的智能体被日益广泛地部署,监测其行为对于检测不安全或非预期的操作变得十分重要。激活探针提供了一种高效的方法,但现有方法在准确率、可解释性与计算开销之间面临权衡。基于原始激活的探针缺乏可解释的输入,而稀疏自编码器(SAE)探针虽使用可解释特征,却往往依赖加性分类器与大型 SAE 编码器,限制了可解释性并增加了内存开销。我们提出 GateWatch,一种紧凑、可解释的分类器,它将完整的决策规则表达为对少量二值化 SAE 特征的显式布尔逻辑。我们探索了在指定门预算下构建这些电路的三种方法。为便于高效部署,GateWatchServe 仅计算选定的 SAE 特征,支持在推理过程中跨层流式传输其二进制值,并使用紧凑的查找表并行评估多个 GateWatch 分类器。在 Gemma-2-9B 上的 24 项任务中,GateWatch 平均每个探针仅使用 3.8 个 SAE 特征和 3.5 个逻辑门,即达到 80.49% 的平均测试准确率,仅比完整的 16K 特征 SAE 探针低 1.17 个百分点,同时在 10 项任务上与之持平或更优,并将探针内存减少 99.98%。在 vLLM 内部,1,000 个并发的多层、多 token GateWatch 分类器保留了 97-98% 的基线吞吐量和 99.8% 的 KV 缓存容量。
| 评论: | 23 页 |
| 主题: | 人工智能(cs.AI);机器学习(cs.LG) |
| 引用为: | arXiv:2611.24619 [cs.AI] |
| (或 arXiv:2611.24619v1 [cs.AI] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.24619 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Firas Spanioli [查看邮箱]
[v1]
2026 年 11 月 18 日星期三 15:37:04 UTC(2,781 KB)
来源:arXiv cs.AI · arxiv.org