蚂蚁 inclusionAI 发布 Ling-3.1-flash-1019-singprobe 流式安全探针
蚂蚁 inclusionAI 在 HuggingFace 发布 Ling-3.1-flash-1019-singprobe,这是为 Ling-3.1-flash-1019 打造的流式安全护栏,仅 8.13M 参数,读取基座模型第 23、47、71 层隐状态,逐 token 打分查询意图、回复不安全和幻觉风险。
蚂蚁 inclusionAI:HuggingFace 新模型·2026-11-19 19:02· 2 小时前AI 评分44
inclusionAI/Ling-3.1-flash-1019-singprobe
AI 导读
蚂蚁 inclusionAI 在 HuggingFace 发布 Ling-3.1-flash-1019-singprobe,这是为 Ling-3.1-flash-1019 打造的流式安全护栏,仅 8.13M 参数,通过读取基座模型第 23、47、71 层隐状态,逐 token 打分查询意图、回复不安全和幻觉风险。
正文 · 原文
Ling-3.1-flash-1019-singprobe
模型描述
SingProbe 是面向 Ling-3.1-flash-1019 的内在流式护栏。其注意力头在生成过程中读取基座模型三层的隐状态,并对每个 token 的查询意图、回复不安全和幻觉风险进行打分。
| 基座模型 | 探针参数 | 接入层(从零开始计数) | 输出 |
|---|---|---|---|
Ling-3.1-flash-1019 |
8.13M | [23, 47, 71] |
8 种查询意图 + 回复不安全 + 幻觉 |
该探针使用 8 个注意力头,头维度为 64,窗口为 2,048 个 token。发布的权重使用 bfloat16。关于方法和训练代码,请参阅 SingProbe 技术报告 和 SingProbe 代码仓库。
评估
每个基准在其套件中权重相同。查询 F1 使用生成的回复。回复安全 F1 使用基准提供的回复。对于每个 F1 行,在整个套件中选择一个阈值以最大化平均 F1。
| 任务 | 指标 | Ling-3.1-flash-1019-singprobe | 参考基线 |
|---|---|---|---|
| 查询意图分类(6 个基准) | F1 | 0.8687 | YuFeng-XGuard-Reason-8B (0.8714) |
| 回复安全分类(8 个基准) | F1 | 0.8707 | Qwen3Guard-Gen-8B-strict (0.8604) |
| 流式安全(3 个基准) | 回复 AUC / token AUC | 0.9844 / 0.9411 | Qwen3Guard-Stream-8B-strict (0.9640 / 0.8893) |
| 幻觉检测(6 个基准) | AUC | 0.8041 | DRIFT (0.8000) |
| 部署特性 | 结果 |
|---|---|
| 良性回复误报率 | 在评估的预校准回复阈值 0.983085 下,5 个数据集的平均值为 0.008% |
| 校准后的发布阈值 | 回复不安全为 0.5,幻觉为 0.5 |
快速开始
使用 SGLang 分支 261029 中的 token-probe 构建。安装 wheel、挂载两个模型目录并具备八块 H20 GPU 后,按如下方式启动服务器。
python3 -m sglang.launch_server \
--model-path /home/admin/Ling-3.1-flash-1019 \
--probe-ckpt /yijian3/536716/SingGuardStream-Final/release/Ling-3.1-flash-1019-singprobe \
--trust-remote-code --tp 8 --ep-size 8 \
--context-length 16384 --chunked-prefill-size 1024 \
--max-prefill-tokens 8192 --max-total-tokens 32768 \
--max-running-requests 16 --mem-fraction-static 0.85 \
--cuda-graph-backend-prefill disabled --cuda-graph-backend-decode disabled \
--port 30000
从 /generate 响应中的 meta_info.token_probe_probs 读取逐 token 分数。键 label_0 到 label_7 为查询意图打分,label_8 为回复不安全打分,label_9 为幻觉风险打分。
引用
@article{singteam2026singprobe,
title = {SingProbe Technical Report},
author = {Sing Team},
journal = {arXiv preprint arXiv:2608.30703},
year = {2026},
}
来源:蚂蚁 inclusionAI:HuggingFace 新模型 · huggingface.co
来源:RadarAI · aihot.news