跳到正文
RadarAI· 蚂蚁 inclusionAI:HuggingFace 新模型·· 3 小时前AI 评分47

inclusionAI 发布 GLM-5.3-Flash-singprobe 流式安全探针

AI 导读

inclusionAI 在 zai-org/GLM-5.3-Flash 上构建了内置流式护栏 SingProbe,复用基座模型隐藏状态,在每个 token 上对查询意图、回复不安全和幻觉风险打分,解码开销低于 0.5%。

正文 · AI 翻译

蚂蚁 inclusionAI:HuggingFace 新模型·2026-10-27 12:47· 1 小时前AI 评分46

inclusionAI/GLM-5.3-Flash-singprobe

AI 导读

inclusionAI 在 zai-org/GLM-5.3-Flash 上构建了内置流式护栏 SingProbe,复用基座模型隐藏状态,在每个 token 上对查询意图、回复不安全和幻觉风险打分,解码开销低于 0.5%。

正文 · 原文

模型描述

SingProbe 是一个基于 zai-org/GLM-5.3-Flash 构建的内置流式护栏。它不运行单独的安全模型,而是在生成过程中复用基座模型的隐藏状态,在每个 token 上对查询意图、回复不安全和幻觉风险打分。它增加的解码时间开销低于 0.5%。

基座模型 探针参数 接入层 输出
inclusionAI/GLM-5.3-Flash-singprobe 8.13M [14, 29, 43] 8 种意图 + 不安全 + 幻觉

方法论与完整结果见技术报告。训练代码见 inclusionAI/SingProbe。

评估

所有指标均为越高越好。结果为下文所列基准套件的平均值。

任务 指标 GLM-5.3-Flash-singprobe 参考基线
查询意图分类(6 个基准) F1 0.8683 YuFeng-XGuard-Reason-8B:0.8714
回复安全分类(8 个基准) F1 0.8706 Qwen3Guard-Gen-8B-strict:0.8604
流式安全(3 个基准) R-AUC / T-AUC 0.9786 / 0.9232 Qwen3Guard-Stream-8B-strict:0.9640 / 0.8893
幻觉检测(6 个基准) AUC 0.8143 DRIFT:0.8000
部署特性 结果
良性回复误报率 5 个数据集平均 0.02%
解码开销 < 0.5%

快速开始

SingProbe 可通过 SGLang 集成分支或 vLLM 集成分支使用。在启动服务时通过其 Hugging Face ID 加载探针:

python -m sglang.launch_server \
  --model-path zai-org/GLM-5.3-Flash \
  --probe-ckpt inclusionAI/GLM-5.3-Flash-singprobe \
  --port 30000

集成方案会为每个生成的 token 返回一个分数字典(label_0–label_9)。请使用完全匹配的基座模型/探针组合:zai-org/GLM-5.3-Flash 搭配此检查点。

引用

@article{singteam2026singprobe,
  title = {SingProbe Technical Report},
  author = {Sing Team},
  journal = {arXiv preprint arXiv:2608.30703},
  year = {2026},
}

来源:蚂蚁 inclusionAI:HuggingFace 新模型 · huggingface.co

来源:RadarAI · aihot.news