arXiv cs.AI· Almene De Meran Meguimtsop, Maria Leonor Pacheco, Daniel E. Acuna·· 11 小时前AI 评分42
SciIntBench：衡量 LLM 在对抗性框架下对科研诚信规范的遵循情况
SciIntBench: Measuring LLM Compliance with Research Integrity Norms Under Adversarial Framing
AI 导读
研究团队推出 SciIntBench，一个覆盖 270 个场景、10 类科研诚信（RCR）规范、3 个科学领域共 1350 条提示词的对抗性基准，每个场景含从最公开到最隐蔽的五档对抗提示及一个良性版本。
正文 · AI 翻译
摘要：大语言模型（LLM）正越来越多地被用于支持科研工作，但它们究竟是维护了负责任研究行为（RCR）规范，还是助长了对其的破坏，目前尚不清楚。我们提出 SciIntBench，这是一个对抗性基准，涵盖 270 个场景、十个 RCR 类别和三个科学领域的 1350 条提示。每个场景以五种梯度呈现，从最公开到最隐蔽的对抗性提示，另有一个良性版本，使我们能够同时衡量对不端行为的框架敏感拒答率以及在合法请求上的有用性。我们评估了来自六家提供商的 16 个商业和开放权重 LLM（2024--2026），共产生 21,600 条回复。我们使用经人工评估验证的 LLM 判断来评估这些回复，达到高度一致（$\kappa$ = 0.857）。我们发现，在最隐蔽的框架条件下，模型平均在 71.7\% 的情况下未能拒绝研究不端行为请求。拒答率因 RCR 类别而异，在透明度、剽窃和捏造方面的边界较弱。
| 主题： | 密码学与安全（cs.CR）；人工智能（cs.AI） |
| 引用为： | arXiv:2605.29468 [cs.CR] |
| （或本版本的 arXiv:2605.29468v2 [cs.CR]） | |
| https://doi.org/10.48550/arXiv.2605.29468 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Almene De Meran Meguimtsop [查看电子邮件]
[v1]
2026 年 5 月 28 日星期四 07:00:01 UTC（4,753 KB）
[v2]
2026 年 10 月 15 日星期四 21:54:11 UTC（7,388 KB）
来源：arXiv cs.AI · arxiv.org