arXiv cs.AI· Xinshun Feng, Ziqi Miao, Lijun Li, Jing Shao·· 13 小时前AI 评分38
SCHEMA：面向科学智能体幻觉的拓扑感知评估框架
Tracing the Cascade: A Topology-Aware Evaluation Framework for Scientific Agent Hallucinations
AI 导读
研究者提出 SCHEMA，首个基于证据、拓扑感知的科学智能体幻觉评估框架，可从基准种子与文献证据自动构建科学概念图并合成任务。SCHEMA 发现幻觉集中在少数高连接知识枢纽，且最终答案准确率与推理轨迹诚实度脱钩，模型常以结构性错误推理得出正确答案。该框架包含轨迹幻觉流水线与多智能体反事实归因模块，代码已开源。
正文 · AI 翻译
摘要：大语言模型（LLM）智能体正越来越多地部署于科学研究中，而在此类场景中可靠性至关重要，且底层知识之间紧密互联。在这样的环境中，幻觉尤其具有破坏性：关于一个基础概念的单个错误论断可能通过多步推理传播，并破坏整个轨迹。现有的幻觉基准大多停留在表层，孤立地处理事实，并依赖忽略这种拓扑结构的统一准确率指标。我们以 SCHEMA 填补这一空白，这是首个面向科学智能体幻觉的、基于证据且具备拓扑感知能力的评估框架。SCHEMA 从基准种子和文献证据中自动构建科学概念图，合成涵盖论断验证、多跳推理、开放式解释和实验代码生成的图接地任务，并用两种互补的诊断方法评估智能体。轨迹幻觉流水线通过拓扑加权严重度评分大规模审计中间推理，而多智能体反事实归因模块则精确定位所选失败背后的因果机制。SCHEMA 揭示出幻觉集中于少数高度连接的知识枢纽，且最终答案准确率与轨迹诚实度脱钩；模型常常通过结构上有缺陷的推理得出正确结论。这些结果表明，对于高风险科学应用，仅凭终端准确率不足以作为智能体可靠性的信号，这促使我们开展基于知识拓扑的机制级评估。代码可在 this https URL 获取。
| Comments: | 40 页，7 幅图和 5 张表 |
| Subjects: | 人工智能（cs.AI） |
| Cite as: | arXiv:2608.00711 [cs.AI] |
| （或 arXiv:2608.00711v2 [cs.AI] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2608.00711 arXiv 颁发的 DOI 经由 DataCite |
Submission history
来自：Xinshun Feng [查看邮箱]
[v1]
2026 年 8 月 1 日星期六 15:19:10 UTC（23,059 KB）
[v2]
2026 年 10 月 27 日星期二 11:05:04 UTC（23,579 KB）
来源：arXiv cs.AI · arxiv.org