跳到正文
arXiv cs.AI· Addi Malviya-Thakur, Reed Milewicz, Gregory R. Watson, Audris Mockus·· 10 小时前AI 评分24

研究软件指标全景综述:AI 时代如何衡量研究软件的质量与影响力

Measuring What Matters in the Age of AI: The Research Software Metrics Landscape

AI 导读

一项基于 49 篇参考文献的研究软件指标综述将现有指标归为八大类,并按数据来源、所声称的构念、效度证据、自动化潜力和误用风险逐项描述。作者指出,许多被广泛引用的研究软件指标只是部分信号,单独衡量科学影响力时效力薄弱。AI 辅助开发进一步扩大了代码溯源、生成代码可维护性、审稿人投入、模型与数据依赖以及人类劳动署名等方面的缺口。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:研究软件如今已成为科学的主要工具,但学术界用来评判其质量、可持续性、复用性和影响力的方法仍分散在软件工程、开放科学、FAIR 软件、引用和研究评估等文献中。AI 辅助开发使这一问题更加突出:代码的产出速度可能超出人工审查能力,来源与归属更难追踪,学术贡献体系无法跟上,现有指标所继承的关于研究软件开发方式的假设可能已不再适用。为帮助应对这些挑战,我们基于 49 篇实质性参考文献,对研究软件指标进行了聚焦式的全景综述,将反复出现的指标归纳为八个类别,并从数据来源、所声称的构念、效度证据、自动化潜力和被滥用风险等方面加以描述。许多被广泛引用的研究软件指标只能作为部分信号,单独使用时难以有效衡量科学影响力。AI 时代在来源追踪、生成代码的可维护性、审稿人投入、模型与数据依赖、复用与社区健康信号的膨胀,以及 AI 无法完成的人类劳动所获认可等方面,打开或扩大了缺口。我们主张以负责任、结合情境、多方法的方式使用研究软件指标,并为研究软件工程师(RSE)、首席研究员、机构和资助方提供决策指导,帮助他们选择有助于改善软件、实现更公平认可和更可信科学的指标。所有发现均基于这 49 篇参考文献的聚焦综述;论文还附有一套可复现的检索与筛选流程以及一个包含 727 条记录的筛选语料库,作为透明度材料,供未来开展完整的系统性映射研究使用。
主题: 软件工程(cs.SE);人工智能(cs.AI);计算工程、金融与科学(cs.CE);机器学习(cs.LG)
引用为: arXiv:2611.23253 [cs.SE]
  (或 arXiv:2611.23253v1 [cs.SE] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.23253

由 DataCite 颁发 arXiv DOI

提交历史

来自:Addi Malviya Thakur [查看邮箱]
[v1] 2026年9月25日星期五 18:48:56 UTC(50 KB)

来源:arXiv cs.AI · arxiv.org