arXiv cs.AI· Zheng Fang, Yiqun Sun, Simin Qu, Shijie Jiang·· 10 小时前AI 评分55
HydroMind:可核验的水文研究自主智能体
HydroMind: A Checkable Agent for Autonomous Hydrological Research
AI 导读
研究团队提出水文建模系统 HydroMind,并对比三种 harness 下同一智能体自主研究四个水文建模开放问题的表现。三种设置分别提交 23、20、41 条模型优劣结论,经实验自身代码与预测复算后不成立的占比为 30%、20%、5%,提供统计检验或置信区间等可核验依据的占比为 48%、53%、83%。在语言模型不变的前提下,仅改变工具与流程约束即可减少不成立的结论并提升可核验比例。
正文 · AI 翻译
摘要:通用编码智能体已为水文和地球系统模型编写代码。在这些研究中,研究人员预先决定了模型的评估方式,例如测试时段、评分函数以及模型必须达到的标准。尚无研究测试当智能体自行做出这些决定时会发生什么:其有多少主张得到自身数据、代码和结果的支持,以及读者能否核查这些主张。两者都可能取决于智能体的运行框架,即其可调用的工具和所遵循的书面指令。我们比较了三种运行框架:智能体自身的运行框架;该框架加上我们为通用智能体开发的水文建模系统 HydroMind 的建模工具,这些工具通过固定命令运行每个模型,并存储其设置、训练好的模型和预测结果;以及两者再加上 HydroMind 的研究流程,在该流程下,智能体在运行任何模型之前先撰写研究设计,并记录对其的每一次更改。在每种运行框架下,同一智能体研究了水文模型开发中的四个开放问题,且仅获得数据。在三种运行框架下,实验分别提交了 23、20 和 41 项主张,每项主张均声明某一模型或方法优于、劣于或类似于另一模型或方法。如果根据实验自身代码和预测重新计算出的差异与该主张不一致,或者代码未比较该主张所指的两个模型或方法,则该主张不成立。在三种运行框架下,分别有 30%、20% 和 5% 的主张不成立。分别有 48%、53% 和 83% 的主张报告了统计检验、置信区间或决策规则,使读者能够判断所述差异。在语言模型不变的情况下,仅更改运行框架就降低了不成立主张的比例,并提高了读者可核查主张的比例。
| 评论: | 16 页,4 幅图,1 张表 |
| 主题: | 软件工程 (cs.SE);人工智能 (cs.AI);机器学习 (cs.LG);地球物理 (physics.geo-ph) |
| 引用为: | arXiv:2611.23323 [cs.SE] |
| (或 arXiv:2611.23323v1 [cs.SE] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.23323 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Zheng Fang [查看电子邮件]
[v1]
2026 年 11 月 15 日星期日 17:53:30 UTC(778 KB)
来源:arXiv cs.AI · arxiv.org