arXiv cs.AI· Chunxiao Li, Yuan Xiong, Lijun Li, Tianyi Du, Wenlong Zhang, Lei Bai, Jing Shao·· 11 小时前AI 评分38
DeepSafe-SciHazard：用分解式危害评分衡量科学安全风险的基准
DeepSafe-SciHazard: A Benchmark for Measuring Scientific Safety Risks with Decomposed Harm Scoring
AI 导读
研究者提出 SciHazard 基准与 DeHarm-Score 分解式评估框架，用于衡量 LLM 将危险科学知识转化为可操作滥用指南的风险。该基准覆盖 12 个学科，含 2400 条危险问题和 600 条过度安全（oversafety）问题，评分结合查询危害严重度、拒答行为与回答级风险，对未拒答回答进一步分解为 Executability 和 Net-new risk。
正文 · AI 翻译
摘要：大型语言模型（LLM）日益支持科学研究，但它们也可能将危险的科学知识转化为可操作的滥用指导。现有基准测试往往依赖脱离现实危害的模板化查询，并采用缺乏领域基础的 LLM 作为评判者范式。为解决这一问题，我们推出 SciHazard——一个基于真实世界的科学风险基准，以及一个与数据集无关的危害性评估框架。SciHazard 包含 12 个学科领域的 2400 个危险问题和 600 个过度安全（oversafety）问题，所有查询均基于受监管实体和有记录的失败场景。为计算 \textsc{DeHarm-Score}，我们开发了一套分解式评估流程，结合查询危害严重程度、拒绝行为和响应级风险。对于未拒绝的响应，它进一步将响应级危害分解为 \textsc{Executability}（通过带重要性加权的动态检查清单量化）和 \textsc{Net-new risk}（通过检索增强的声明提取与合成障碍验证进行评估）。一项专家验证研究表明，与最强基线相比，\textsc{DeHarm-Score} 与专家标注的一致性提高了 90.17\%。我们在广泛的科学安全评估中对 31 个前沿 LLM 和深度研究智能体进行了基准测试。值得注意的是，深度研究智能体的平均 \textsc{DeHarm-Score} 比标准 LLM 高出 32.3\%，表明自主智能体是当前安全防御中的一个关键盲点。代码和数据集可在 此 https URL 获取。
| Comments: | 已被 NeurIPS 2026 Evaluations and Datasets Track 接收 |
| Subjects: | 人工智能（cs.AI） |
| Cite as: | arXiv:2607.18665 [cs.AI] |
| （或 arXiv:2607.18665v2 [cs.AI] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2607.18665 arXiv 颁发的 DOI 通过 DataCite |
Submission history
来自：Chunxiao Li [查看邮箱]
[v1]
2026年7月21日 星期二 03:25:01 UTC（608 KB）
[v2]
2026年10月23日 星期五 06:11:08 UTC（2,514 KB）
来源：arXiv cs.AI · arxiv.org