arXiv cs.AI· Mohammad Arvan, Amber E. Osterholt, Bailee Rue, Yuvaneswaren R. Sureshbabu, Krishna R. Patel, Rebecca T. Feinstein, Bethany C. Bray, Niranjan S. Karnik·· 13 小时前AI 评分34
AI Agent 起草转化影响摘要的真实场景评估：81.7% 的发现被接受或编辑
Real-World Evaluation of an AI Agent Drafting Translational Impact Summaries
AI 导读
一个 human-in-the-loop AI Agent 在 CTSA 影响报告流程中为 10 名 KL2/K12 学者起草 TSBM 影响摘要，两名评审对 507 条发现中 81.7% 予以接受或编辑。评审每人每名学者中位耗时 14 分钟，替代约 15 小时的人工整理，综合准确性评分 4.5、实用性 4.8（5 分制）。约三分之一的发现属于常规流程易漏的非学术类别。
正文 · AI 翻译
摘要：引言。临床与转化科学奖（CTSA）项目必须记录其学者的研究影响力，但人工整理每位学者的记录估计需要工作人员花费 15 小时，且无法扩展到整个队列。人工智能（AI）智能体可以作为一种工具，跨平台、跨学科收集学者数据。方法。我们构建了一个人在回路中的 AI 智能体，为每位学者汇编一份有来源证据的档案，并起草一句话的转化科学效益模型（TSBM）影响力摘要供工作人员审阅。我们在一个 CTSA 中心的影响力报告工作流程中，对 10 位职业发展（KL2/K12）学者进行了评估。两名评估人员独立将全部 507 条发现编码为接受、编辑或拒绝；主要指标是一致可用率，定义为两人均接受或编辑的比例。结果。两位审阅者接受或编辑了该智能体 81.7% 的发现。每位审阅者平均每位学者花费 14 分钟，替代了估计 15 小时的人工汇编。评分者间一致性为中等（可用与拒绝决策的 Cohen's kappa 为 0.43）。一项个人资料发现研究发现，该智能体的召回率接近人工搜索。该智能体的影响力证据涵盖全部四个 TSBM 领域，约三分之一的受审阅发现属于常规流程往往遗漏的非学术类别。审阅者在 5 分制下对综合准确性评分为 4.5，对实用性评分为 4.8。结论。人在回路中的 AI 智能体可以作为学者影响力记录的初稿撰写者，将工作人员从收集和撰写转变为审阅，并使队列规模的影响力报告成为可能。
| 评论： | 15 页，5 幅图，2 张表。已投稿至《Journal of Clinical and Translational Science》。代码：此 https URL |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；数字图书馆（cs.DL）；人机交互（cs.HC） |
| ACM 分类： | I.2.7；I.2.11；H.3.7；H.5.2 |
| 引用为： | arXiv:2607.16989 [cs.CL] |
| （或 arXiv:2607.16989v3 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2607.16989 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Mohammad Arvan [查看电子邮件]
[v1]
2026 年 7 月 18 日星期六 22:34:52 UTC（205 KB）
[v2]
2026 年 7 月 21 日星期二 15:50:03 UTC（204 KB）
[v3]
2026 年 10 月 29 日星期四 16:48:04 UTC（232 KB）
来源：arXiv cs.AI · arxiv.org