跳到正文
MIT News · AI· Bwiza Gihana Deborah | Institute for Medical Engineering and Science·· 5 小时前AI 评分36

MIT 团队用 LLM 调查近 4000 篇医学研究论文的代码共享情况

AI helps researchers investigate how thousands of medical studies share code

AI 导读

MIT 与 Dana-Farber 癌症研究所团队用 LLM 筛查近 4000 篇临床预测模型论文,追踪其关联代码仓库,发现仅约八分之一的研究报告共享代码,且公开代码并不等于提供可复用的文档与支持信息。不同期刊的代码共享比例从零到超过 70% 不等,部分设有共享政策的期刊共享率依然偏低。相关开放获取成果已发表于 Nature Medicine,并将用于制定报告规范 TRIPOD-Code。

正文 · AI 翻译

支撑一项研究的数据和代码可以告诉我们实际做了什么,以及是如何做的。例如,在一项医学研究中,患者是如何被选择纳入的?缺失值是如何处理的?结果是如何评估的? 

获取一项研究的数据和代码有助于研究人员回答这些问题、审视研究方法,并在其基础上继续开展工作。 

“研究涉及许多关于如何准备数据、开发模型和评估性能的选择。这些有时被称为‘研究者自由度’,”麻省理工学院计算生理学实验室及计算机科学与人工智能实验室的研究科学家Tom Pollard说。“我们所做的选择会影响结果,而论文中的方法部分只能记录有限的细节。”

虽然共享代码可以是第一步,但为了让代码能够被理解和重用,它必须具有充分的结构和描述。问题在于,目前关于什么构成组织良好、描述充分的代码集合,几乎没有为研究人员提供指导。 

这正是由麻省理工学院和Dana-Farber癌症研究所的研究人员领导的一个国际团队试图提供帮助的地方,他们考察了临床预测研究中目前代码共享的方式。此类研究开发或评估用于估计患者结局(例如罹患某种疾病的风险)的模型。由于这些模型会影响患者护理决策,研究人员需要能够审视它们是如何构建和测试的。

研究人员使用大语言模型(LLM)考察了近4,000篇论文,以识别关于共享代码的陈述。随后他们追踪这些陈述,评估了数百个相关的代码仓库。

他们的综述揭示了两个关键缺口:代码共享仍然不常见,而将代码公开并不总是意味着提供了重用所需的文档和支持信息。这些开放获取的研究结果最近发表在Nature Medicine上,正在为TRIPOD-Code提供参考,后者是一项正在制定的报告指南,旨在明确研究人员应共享哪些内容。

追踪代码

TRIPOD-Code建立在TRIPOD和TRIPOD+AI的基础上,后者是帮助研究人员报告临床预测模型如何开发和评估的清单。为了解当前的代码共享实践,团队识别了引用任一指南的研究。该综述纳入了近4,000项开发、更新或验证预测模型的研究,且其全文可通过PubMed Central的开放获取合集获取。 

“挑战在于信息高度不一致。首先,我们必须确定一篇论文是否共享了代码,”该研究的第一作者Thomas Sounack说。他补充说,作者们“以许多不同的方式讨论并链接到论文中的代码。”

团队使用LLM帮助筛选论文、识别关于代码可用性的陈述并提取链接。随后软件检索所链接的仓库——即代码及相关文件的在线集合——以进行进一步评估。

该工作流程不仅检查链接是否存在,还根据文档完整性、软件要求和重用条款等特征对仓库进行评估。

“大语言模型真正的优势在于处理文本等非结构化信息的能力。这些模型帮助我们处理散落在论文和软件仓库中的信息,而不是整齐地整理在表格里的信息,”该研究的资深作者之一波拉德说。“这使我们能够更细致地考察大量研究中代码的共享情况。”

人类评审员评估了大语言模型的工作。两名研究人员独立检查了500篇论文和另一个仓库样本,在将他们的评估与自动化结果进行比较之前解决了分歧。 

对于具体特征(例如是否存在许可证文件),一致性高于对文档充分性的判断。由于分类错误仍有可能发生,作者强调总体模式,而不是把每一项计数都视为精确无误。

代码共享不一致

只有约八分之一的研究报告了共享代码。在共享代码的地方,仓库内容差异很大。

有些仓库“组织得极其有序、文档极其完善,而另一些则几乎没有任何说明,”苏纳克说。他解释说,良好的代码共享意味着“提供足够的信息,让人理解代码的作用,并能够运行它来复现论文中报告的结果。”

不同期刊和国家之间的做法也差异很大。在各期刊中,共享代码的研究比例从零到超过70%不等。一些共享率较低的期刊却制定了书面的代码共享政策,这表明仅靠政策可能不足以推动代码共享。

该综述还有助于识别有效做法的实例。例如,一些研究人员在原始患者记录无法公开共享的情况下,提供了合成数据集以协助代码复用。

为代码共享设定标准

共享代码的研究人员已经在努力使自己的工作透明。但临床预测研究汇集了来自医学、统计学和计算机科学的人员,他们对记录和共享代码的期望可能不同。

TRIPOD-Code旨在建立共识。通过专家评审流程,团队正在制定关于共享分析代码中哪些要素应被视为必不可少的指导。

“我们希望为研究人员提供如何共享代码的实用指导,并给期刊提供更清晰的期望,以便传达给作者,”波拉德说。“该综述为我们提供了为这些讨论提供依据的证据。”

来源:MIT News · AI · news.mit.edu