arXiv cs.AI· Zehao Lu, Xingguo Xiong, Wopke van der Werf, Thijs L. van der Plas, Ioannis N. Athanasiadis·· 3 天前AI 评分25
生成式 AI 能否自动化 Meta 分析的数据提取？一项间作研究案例
Can Generative AI Automate Data Extraction for Meta-Analysis? A Case Study on Intercropping Research
AI 导读
研究评估了直接零样本提示、分阶段工作流和多智能体系统三种 LLM 方法，用六个开放权重模型从间作文献中提取数据。直接零样本提示表现最强且最稳定，相似度调整后 F1 最高为 0.577，但所有方法都远未达到完全准确。在下游分析中，多数模型与方法组合能恢复预测变量与结果变量之间的关系方向，但无法准确估计其幅度。
正文 · AI 翻译
摘要：元分析是对来自多个来源的信息进行综合，以得出总体结论。农业研究中非常需要元分析，以综合已知信息并分析总体模式。然而，从已发表文献中提取数据劳动强度大、耗时且繁琐，并且因研究设计、测量单位和术语缺乏标准化而受到阻碍。这些挑战在作物物种混合（也称为间作）领域尤为明显。随着 LLM 能力的不断增强，近期许多尝试都聚焦于构建系统和工具以实现数据收集自动化，但往往缺乏针对人工标注真实基准的严格评估。在本研究中，我们评估了三种基于 LLM 的方法——直接零样本提示、分阶段工作流和多智能体系统——并使用六个开放权重模型从间作文献中提取数据。结果针对人工整理的真实基准进行评估，并通过下游统计分析进行检验。总体而言，直接零样本提示是最强且最一致的方法，达到了最高的平均相似度调整 F1 值 0.577，尽管没有一种方法接近完全准确。在下游分析中，大多数模型—方法组合都能恢复预测变量与结果变量之间关系的方向，但无法准确估计其幅度。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2609.35089 [cs.AI] |
| （或 arXiv:2609.35089v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2609.35089 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Zehao Lu [查看电子邮件]
[v1]
2026年9月28日星期一 13:04:41 UTC（117 KB）
[v2]
2026年10月13日星期二 12:27:06 UTC（1,226 KB）
来源：arXiv cs.AI · arxiv.org