arXiv cs.CL· Changyi Li, Jiayi Wang, Xudong Pan, Geng Hong, Min Yang·· 6 天前AI 评分42
ReasoningShield：面向大型推理模型推理轨迹的安全检测基准与轻量模型
ReasoningShield: Safety Detection over Reasoning Traces of Large Reasoning Models
AI 导读
针对大型推理模型（LRM）的思维链（CoT）推理轨迹中可能隐藏有害内容的问题，研究者提出 ReasoningShield 基准及配套轻量模型。
正文 · AI 翻译
摘要：大型推理模型（LRMs）利用显式推理轨迹，即思维链（CoT）推理，将复杂问题分解为中间步骤，然后再得出最终答案。然而，这些推理轨迹带来了独特的安全挑战：即使最终答案看似无害，有害内容也可能嵌入中间步骤中。我们的研究表明，现有最先进的审核工具在 CoT 审核上性能显著下降，与传统的答案审核相比，F1 分数最多下降 35.2%。为应对这些挑战，我们提出了 ReasoningShield，一个全面的基准测试和一套用于 CoT 安全审核的强轻量级模型。我们的基准测试包含 9.2K 个带标注的（Query, CoT）对，并附有结构化的逐步风险分析，包括一个 7K 样本的训练集和一个 2.2K 人工标注的测试集，涵盖 10 个风险类别、3 个安全级别和 8 个具有不同推理范式的 LRM。为进一步展示该基准测试的实用性，我们使用两阶段训练策略开发了 1B/3B 参数的轻量级模型。我们的模型在我们的基准测试上达到 91.8% 的 F1，大幅超过 LlamaGuard-4 等领先工具 35.6%，超过 GPT-4o 等商业模型 15.8%，同时在多样化的推理范式和未见场景中有效泛化。资源已公开：项目页面：此 https URL，代码：此 https URL，模型：此 https URL，数据集：此 https URL。
| Comments: | 被 NeurIPS 2026，Evaluations & Datasets Track 接收。资源已公开：项目页面：此 https URL，代码：此 https URL，模型：此 https URL，数据集：此 https URL |
| Subjects: | 计算与语言（cs.CL）；人工智能（cs.AI） |
| Cite as: | arXiv:2505.17244 [cs.CL] |
| （或 arXiv:2505.17244v3 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2505.17244 arXiv 颁发的 DOI 通过 DataCite |
Submission history
来自：Changyi Li [查看电子邮件]
[v1]
2025年5月22日星期四 19:44:41 UTC（3,351 KB）
[v2]
2025年10月15日星期三 11:47:26 UTC（2,260 KB）
[v3]
2026年10月9日星期五 08:35:15 UTC（4,813 KB）
来源：arXiv cs.CL · arxiv.org