跳到正文
RadarAI· 蚂蚁 inclusionAI:HuggingFace 新模型·· 16 小时前AI 评分38

蚂蚁 inclusionAI 发布 Ling-3.1-flash-1019-singprobe 流式安全探针

AI 导读

蚂蚁 inclusionAI 在 HuggingFace 发布 Ling-3.1-flash-1019-singprobe,这是为 Ling-3.1-flash-1019 打造的流式安全护栏,仅 8.13M 参数,读取基座模型第 23、47、71 层隐状态,逐 token 打分查询意图、回复不安全和幻觉风险。

正文 · AI 翻译

蚂蚁 inclusionAI:HuggingFace 新模型·2026-11-19 19:02· 2 小时前AI 评分44

inclusionAI/Ling-3.1-flash-1019-singprobe

AI 导读

蚂蚁 inclusionAI 在 HuggingFace 发布 Ling-3.1-flash-1019-singprobe,这是为 Ling-3.1-flash-1019 打造的流式安全护栏,仅 8.13M 参数,通过读取基座模型第 23、47、71 层隐状态,逐 token 打分查询意图、回复不安全和幻觉风险。

正文 · 原文

Ling-3.1-flash-1019-singprobe

模型描述

SingProbe 是面向 Ling-3.1-flash-1019 的内在流式护栏。其注意力头在生成过程中读取基座模型三层的隐状态,并对每个 token 的查询意图、回复不安全和幻觉风险进行打分。

基座模型 探针参数 接入层(从零开始计数) 输出
Ling-3.1-flash-1019 8.13M [23, 47, 71] 8 种查询意图 + 回复不安全 + 幻觉

该探针使用 8 个注意力头,头维度为 64,窗口为 2,048 个 token。发布的权重使用 bfloat16。关于方法和训练代码,请参阅 SingProbe 技术报告 和 SingProbe 代码仓库。

评估

每个基准在其套件中权重相同。查询 F1 使用生成的回复。回复安全 F1 使用基准提供的回复。对于每个 F1 行,在整个套件中选择一个阈值以最大化平均 F1。

任务 指标 Ling-3.1-flash-1019-singprobe 参考基线
查询意图分类(6 个基准) F1 0.8687 YuFeng-XGuard-Reason-8B (0.8714)
回复安全分类(8 个基准) F1 0.8707 Qwen3Guard-Gen-8B-strict (0.8604)
流式安全(3 个基准) 回复 AUC / token AUC 0.9844 / 0.9411 Qwen3Guard-Stream-8B-strict (0.9640 / 0.8893)
幻觉检测(6 个基准) AUC 0.8041 DRIFT (0.8000)
部署特性 结果
良性回复误报率 在评估的预校准回复阈值 0.983085 下,5 个数据集的平均值为 0.008%
校准后的发布阈值 回复不安全为 0.5,幻觉为 0.5

快速开始

使用 SGLang 分支 261029 中的 token-probe 构建。安装 wheel、挂载两个模型目录并具备八块 H20 GPU 后,按如下方式启动服务器。

python3 -m sglang.launch_server \
  --model-path /home/admin/Ling-3.1-flash-1019 \
  --probe-ckpt /yijian3/536716/SingGuardStream-Final/release/Ling-3.1-flash-1019-singprobe \
  --trust-remote-code --tp 8 --ep-size 8 \
  --context-length 16384 --chunked-prefill-size 1024 \
  --max-prefill-tokens 8192 --max-total-tokens 32768 \
  --max-running-requests 16 --mem-fraction-static 0.85 \
  --cuda-graph-backend-prefill disabled --cuda-graph-backend-decode disabled \
  --port 30000

从 /generate 响应中的 meta_info.token_probe_probs 读取逐 token 分数。键 label_0 到 label_7 为查询意图打分,label_8 为回复不安全打分,label_9 为幻觉风险打分。

引用

@article{singteam2026singprobe,
  title = {SingProbe Technical Report},
  author = {Sing Team},
  journal = {arXiv preprint arXiv:2608.30703},
  year = {2026},
}

来源:蚂蚁 inclusionAI:HuggingFace 新模型 · huggingface.co

来源:RadarAI · aihot.news