arXiv cs.AI· Donghyun Lee, Taehoon Lee, Geonhee Ahn, Jieun Kim, Jihyun Park, Suyeon Cho, Yoona Kim, Chaerim Shin, Hoi Ri Moon, Jonggeol Na, Sukho Hong, Jihwan Oh, Soo Kyung Kim·· 11 小时前AI 评分27
MOF-Verify：面向 MOF 假设验证的失败感知智能体框架
MOF-VERIFY: A Failure-Aware Agentic Harness for MOF Hypothesis Verification
AI 导读
研究者提出诊断基准与 MOF-Verify 失败感知智能体框架，用于验证大语言模型驱动的材料科研流程。该基准含四类任务，覆盖结构锚定、合成条件验证、证据充分性验证与基于 MLIP 的计算验证，T-MOF-1-3 在闭卷、检索增强和 oracle 证据三种设置下定位失败环节。在多个基座 LLM 上，MOF-Verify 相较直接推理与检索基线提升了平均表现，增益集中在结构锚定与证据充分性。
正文 · AI 翻译
作者：Donghyun Lee、Taehoon Lee、Geonhee Ahn、Jieun Kim、Jihyun Park、Suyeon Cho、Yoona Kim、Chaerim Shin、Hoi Ri Moon、Jonggeol Na、Sukho Hong、Jihwan Oh、Soo Kyung Kim
摘要：大型语言模型正越来越多地被用作 AI 驱动的材料协同科学家中的推理组件，但由此产生的验证流程的可靠性仍不明确。金属有机框架（MOFs）提供了一个尤其具有挑战性的场景，因为同一结构可能以不同标识符出现，合成结果在很大程度上取决于实验条件，证据分散在异构来源中，而且部分假设需要计算而非仅靠文献。我们提出了一个诊断基准，包含四个任务族，分别涵盖结构接地、合成条件验证、证据充分性验证和基于 MLIP 的计算验证。T-MOF-1-3 在闭卷、启用检索和 oracle 证据三种设置下进行评估，以定位知识获取、证据获取和推理中的失败，而 T-MOF-4 单独评估计算验证。在这些诊断出的失败模式的指导下，我们开发了 MOF-Verify，一个故障感知的智能体框架，在给出最终判定之前针对结构、文献、证据充分性和计算瓶颈。在多个骨干 LLM 上，MOF-Verify 在该基准上相比直接推理和基于检索的基线提高了所报告的平均值，增益集中在结构接地和证据充分性方面。基准记录和发布状态文档可在 此 https URL 获取。
| 评论： | 已被 NeurIPS 2026 Workshops XAI4Science 和 AI4Mat 接收。修订稿澄清了方法、扩充了补充信息并添加了资助致谢。20 页 |
| 主题： | 人工智能（cs.AI）；计算工程、金融与科学（cs.CE） |
| 引用为： | arXiv:2610.03056 [cs.AI] |
| （或本版本使用 arXiv:2610.03056v2 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2610.03056 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Dong Hyun Lee [查看邮箱]
[v1]
2026 年 10 月 2 日星期五 09:36:55 UTC（324 KB）
[v2]
2026 年 11 月 4 日星期三 20:49:07 UTC（324 KB）
来源：arXiv cs.AI · arxiv.org