arXiv cs.AI· Xinyang Liao, Lingyu Li, Huacan Liu, Tianle Gu, Yang Yao, Tong Zhu, Yan Teng, Yingchun Wang·· 3 天前AI 评分54
PseudoBench：衡量智能体自动科研如何助推伪科学
PseudoBench: Measuring How Agentic Auto-Research Fuels Pseudoscience
AI 导读
arXiv 论文提出 PseudoBench，一个评估智能体自动科研系统能否识别并抵制伪科学叙事的对抗性基准，包含五个领域的 200 组伪科学论断与证据配对，覆盖从实验到写作的端到端研究流程。
正文 · AI 翻译
摘要：随着基于大语言模型的智能体进入自主科学研究领域，其抵御伪科学的能力变得愈发重要。否则，此类系统可能迅速生成看似合理却具有误导性的研究，污染学术文献并侵蚀公众对科学的信任。我们提出 PseudoBench，这是一个对抗性基准，用于评估智能体式自动研究系统能否识别并抵御伪科学叙事。PseudoBench 包含横跨五个领域的 200 个精选伪科学主张-证据对，并通过从实验到写作的端到端研究流程评估智能体。在测试七种最先进的智能体后，我们发现当前系统很容易生成与伪科学前提相符的具有说服力的报告，拒绝率几乎为零，最高抵御率仅为 27.4%。能力更强的智能体有可能用更精密的科学语言包装伪科学，从而提升其表面可信度。这些发现揭示了一种助长伪科学的令人担忧的能力，呼吁在广泛部署之前实现科学对齐。
| 评论： | 34 页，25 幅图 |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2606.18060 [cs.AI] |
| （或使用 arXiv:2606.18060v2 [cs.AI] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2606.18060 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Xinyang Liao [查看邮箱]
[v1]
2026 年 6 月 16 日星期二 15:37:02 UTC（10,727 KB）
[v2]
2026 年 10 月 13 日星期二 08:26:30 UTC（8,711 KB）
来源：arXiv cs.AI · arxiv.org