arXiv cs.AI· Yuzhen Wang, Chunxiao Li, Baichen Le, Lewen Yan, Jie Zhang, Yucheng T. Yang, Xing-Ming Zhao, Lijun Li, Jing Shao·· 6 天前AI 评分38
DRYLAB-Bench：评测智能体式 LLM 突变设计的生物安全风险
DRYLAB-Bench: Benchmarking the Biosecurity Risk of Agentic LLM Mutation Design
AI 导读
研究者推出 DRYLAB-Bench，首个评估 LLM 智能体高危生物突变设计能力的基准，包含 30 个真实危险突变设计场景，并用 Biosecurity Risk Score（BRS）对照 ProteinGym 与 ViroGym 的 187,695 条湿实验数据打分。
正文 · AI 翻译
摘要：随着大语言模型（LLM）获得先进的生物设计能力，它们带来了巨大的研究收益，但同时也引入了严重的双重用途风险，例如工程化增强病原体或耐药细菌。尽管生物安全框架已认识到这些威胁，但 LLM 执行危险生物改造的实际风险仍未得到量化，尤其是在配备专门的生物设计工具（BDT）时。现有评估主要衡量危险知识的掌握程度，而非实际应用，忽视了 BDT 带来的风险放大，并依赖不可靠、昂贵或危险的验证方法。为填补这些空白，我们推出了 DRYLAB-Bench（Design Risk Yielded by LLM Agent in Biodesign），这是首个评估 LLM 智能体高风险生物突变设计能力的综合基准。DRYLAB-Bench 超越了基础问答，为智能体布置了 30 个从生物安全指南中提炼出的真实危险突变设计场景。它在多轮、工具增强的环境中评估模型，LLM 在其中编排 BDT 以迭代优化候选方案。关键在于，它使用我们提出的生物安全风险评分（BRS），直接依据 ProteinGym 和 ViroGym 的 187,695 项实证湿实验室测量结果对设计进行评分，量化与风险相关的效应，同时实现可扩展且安全的真实基准验证。对 15 个前沿模型的评估揭示了巨大的基线威胁：在没有工具的情况下，67.6% 的一次性设计超过平均测量变体，21.4% 达到最高风险十分位。为模型配备 BDT 会显著放大这一风险，使汇总风险提高 \(\Delta BRS=+0.116\)，最高十分位占比升至 23.5%。代码：此 https URL
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.13116 [cs.AI] |
| （或 arXiv:2610.13116v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.13116 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Chunxiao Li [查看电子邮件]
[v1]
2026年10月9日星期五 07:09:16 UTC（2,758 KB）
来源：arXiv cs.AI · arxiv.org