蚂蚁 inclusionAI 在 HuggingFace 发布 DeepSeek-V4.1-Flash-1017-singprobe 流式安全探针
蚂蚁 inclusionAI 发布 DeepSeek-V4.1-Flash-1017-singprobe 流式安全探针
蚂蚁 inclusionAI 在 HuggingFace 发布 SingProbe 流式护栏 DeepSeek-V4.1-Flash-1017-singprobe,探针仅 10.10M 参数,读取基座模型第 12、25、39 层隐藏状态,逐 token 输出 8 类查询意图、响应不安全和幻觉风险评分。
蚂蚁 inclusionAI:HuggingFace 新模型·2026-11-19 19:02· 2 小时前AI 评分45
inclusionAI/DeepSeek-V4.1-Flash-1017-singprobe
AI 导读
蚂蚁 inclusionAI 在 HuggingFace 发布 SingProbe 流式护栏 DeepSeek-V4.1-Flash-1017-singprobe,探针仅 10.10M 参数,读取基座模型第 12、25、39 层隐藏状态,逐 token 输出 8 类查询意图、响应不安全和幻觉风险评分。
正文 · 原文
DeepSeek-V4.1-Flash-1017-singprobe
模型描述
SingProbe 是面向 DeepSeek-V4.1-Flash-1017 的内在流式护栏。其注意力头在生成过程中读取基座模型的三层隐藏状态,并在每个 token 处对查询意图、响应不安全和幻觉风险进行评分。
| 基座模型 | 探针参数 | 读取层(从零开始计数) | 输出 |
|---|---|---|---|
DeepSeek-V4.1-Flash-1017 |
10.10M | [12, 25, 39] |
8 类查询意图 + 响应不安全 + 幻觉 |
该探针使用 8 个注意力头,头维度为 64,窗口为 2,048 个 token。发布权重使用 bfloat16。关于方法和训练代码,请参阅 SingProbe 技术报告 和 SingProbe 仓库。
评估
每个基准在其套件中权重相同。查询 F1 使用生成的响应。响应安全 F1 使用基准提供的响应。对于每个 F1 行,在整个套件中选择一个阈值以最大化平均 F1。
| 任务 | 指标 | DeepSeek-V4.1-Flash-1017-singprobe | 参考基线 |
|---|---|---|---|
| 查询意图分类(6 个基准) | F1 | 0.8756 | YuFeng-XGuard-Reason-8B (0.8714) |
| 响应安全分类(8 个基准) | F1 | 0.8668 | Qwen3Guard-Gen-8B-strict (0.8604) |
| 流式安全(3 个基准) | 响应 AUC / token AUC | 0.9907 / 0.9522 | Qwen3Guard-Stream-8B-strict (0.9640 / 0.8893) |
| 幻觉检测(6 个基准) | AUC | 0.7951 | DRIFT (0.8000) |
| 部署特性 | 结果 |
|---|---|
| 良性响应误报率 | 在评估的预校准响应阈值 0.987179 下,5 个数据集的平均值为 0.009% |
| 校准后的发布阈值 | 响应不安全为 0.5,幻觉为 0.5 |
快速开始
使用 SGLang 分支 261029 中的 token-probe 构建。安装 wheel、挂载两个模型目录并具备八块 H20 GPU 后,按如下方式启动服务器。
python3 -m sglang.launch_server \
--model-path /home/admin/DeepSeek-V4.1-Flash-1017 \
--probe-ckpt /yijian3/536716/SingGuardStream-Final/release/DeepSeek-V4.1-Flash-1017-singprobe \
--trust-remote-code --tp 8 --ep-size 8 \
--context-length 16384 --chunked-prefill-size 1024 \
--max-prefill-tokens 8192 --max-total-tokens 32768 \
--max-running-requests 16 --mem-fraction-static 0.85 \
--cuda-graph-backend-prefill disabled --cuda-graph-backend-decode disabled \
--port 30000
从 /generate 响应中的 meta_info.token_probe_probs 读取逐 token 分数。键 label_0 到 label_7 对查询意图评分,label_8 对响应不安全评分,label_9 对幻觉风险评分。
引用
@article{singteam2026singprobe,
title = {SingProbe Technical Report},
author = {Sing Team},
journal = {arXiv preprint arXiv:2608.30703},
year = {2026},
}
来源:蚂蚁 inclusionAI:HuggingFace 新模型 · huggingface.co
来源:RadarAI · aihot.news