跳到正文
RadarAI· 蚂蚁 inclusionAI:HuggingFace 新模型·· 16 小时前AI 评分52

蚂蚁 inclusionAI 在 HuggingFace 发布 DeepSeek-V4.1-Flash-1017-singprobe 流式安全探针

蚂蚁 inclusionAI 发布 DeepSeek-V4.1-Flash-1017-singprobe 流式安全探针

AI 导读

蚂蚁 inclusionAI 在 HuggingFace 发布 SingProbe 流式护栏 DeepSeek-V4.1-Flash-1017-singprobe,探针仅 10.10M 参数,读取基座模型第 12、25、39 层隐藏状态,逐 token 输出 8 类查询意图、响应不安全和幻觉风险评分。

正文 · AI 翻译

蚂蚁 inclusionAI:HuggingFace 新模型·2026-11-19 19:02· 2 小时前AI 评分45

inclusionAI/DeepSeek-V4.1-Flash-1017-singprobe

AI 导读

蚂蚁 inclusionAI 在 HuggingFace 发布 SingProbe 流式护栏 DeepSeek-V4.1-Flash-1017-singprobe,探针仅 10.10M 参数,读取基座模型第 12、25、39 层隐藏状态,逐 token 输出 8 类查询意图、响应不安全和幻觉风险评分。

正文 · 原文

DeepSeek-V4.1-Flash-1017-singprobe

模型描述

SingProbe 是面向 DeepSeek-V4.1-Flash-1017 的内在流式护栏。其注意力头在生成过程中读取基座模型的三层隐藏状态,并在每个 token 处对查询意图、响应不安全和幻觉风险进行评分。

基座模型 探针参数 读取层(从零开始计数) 输出
DeepSeek-V4.1-Flash-1017 10.10M [12, 25, 39] 8 类查询意图 + 响应不安全 + 幻觉

该探针使用 8 个注意力头,头维度为 64,窗口为 2,048 个 token。发布权重使用 bfloat16。关于方法和训练代码,请参阅 SingProbe 技术报告 和 SingProbe 仓库。

评估

每个基准在其套件中权重相同。查询 F1 使用生成的响应。响应安全 F1 使用基准提供的响应。对于每个 F1 行,在整个套件中选择一个阈值以最大化平均 F1。

任务 指标 DeepSeek-V4.1-Flash-1017-singprobe 参考基线
查询意图分类(6 个基准) F1 0.8756 YuFeng-XGuard-Reason-8B (0.8714)
响应安全分类(8 个基准) F1 0.8668 Qwen3Guard-Gen-8B-strict (0.8604)
流式安全(3 个基准) 响应 AUC / token AUC 0.9907 / 0.9522 Qwen3Guard-Stream-8B-strict (0.9640 / 0.8893)
幻觉检测(6 个基准) AUC 0.7951 DRIFT (0.8000)
部署特性 结果
良性响应误报率 在评估的预校准响应阈值 0.987179 下,5 个数据集的平均值为 0.009%
校准后的发布阈值 响应不安全为 0.5,幻觉为 0.5

快速开始

使用 SGLang 分支 261029 中的 token-probe 构建。安装 wheel、挂载两个模型目录并具备八块 H20 GPU 后,按如下方式启动服务器。

python3 -m sglang.launch_server \
  --model-path /home/admin/DeepSeek-V4.1-Flash-1017 \
  --probe-ckpt /yijian3/536716/SingGuardStream-Final/release/DeepSeek-V4.1-Flash-1017-singprobe \
  --trust-remote-code --tp 8 --ep-size 8 \
  --context-length 16384 --chunked-prefill-size 1024 \
  --max-prefill-tokens 8192 --max-total-tokens 32768 \
  --max-running-requests 16 --mem-fraction-static 0.85 \
  --cuda-graph-backend-prefill disabled --cuda-graph-backend-decode disabled \
  --port 30000

从 /generate 响应中的 meta_info.token_probe_probs 读取逐 token 分数。键 label_0 到 label_7 对查询意图评分,label_8 对响应不安全评分,label_9 对幻觉风险评分。

引用

@article{singteam2026singprobe,
  title = {SingProbe Technical Report},
  author = {Sing Team},
  journal = {arXiv preprint arXiv:2608.30703},
  year = {2026},
}

来源:蚂蚁 inclusionAI:HuggingFace 新模型 · huggingface.co

来源:RadarAI · aihot.news