Astro2Method：评估 LLM 在天文学机器学习方法选择上的基准

查看 PDF HTML（实验性）

摘要：机器学习（ML）在天文学中的应用日益增多，但为科学问题选择合适的方法往往需要同时具备天文学和 ML 方面的专业知识。大语言模型（LLM）可以帮助天文学家做出此类选择，然而这一能力在现有基准中仍未得到充分探索。我们推出 Astro2Method，这是一个包含 500 个专家评审二元问题的基准，取自 346 篇天文学论文（2024/01-2026/06），基于明确的性能差异以及作者提供的完整（Easy）或部分（Hard）解释。在五个 LLM 上，直接提示在 Easy 问题上达到 87.50-92.55% 的准确率，但在 Hard 问题上仅为 58.87-64.52%。使用历史论文时，无论是检索增强生成，还是大多数带有额外推理或检索的智能体方法（包括 ReAct、Self-Ask 和 CRITIC），都没有带来一致的提升。被要求搜索网络的智能体主要在找到问题所依据的论文时提高准确率，否则没有一致的提升。提供源论文的流程描述并遮蔽方法名称可提高 Hard 准确率，达到或超过网络搜索。综合来看，这些结果表明相关实验信息有助于区分 ML 方法，但 LLM 在天文学中从相关研究和领域知识中推断这些信息仍然具有挑战性。

提交历史

来自：Xingzhong Fan [查看电子邮件]
[v1] 2026 年 10 月 21 日星期三 18:01:34 UTC（2,557 KB）