arXiv cs.CL· Juan Felipe Duran, Arthur Tobler, Martin Valli\`eres·· 11 小时前AI 评分31
每条边都要有引文:用语言模型智能体构建医疗软件采购的引文溯源知识图谱
Every Edge Needs a Quote: Building a Quote-Grounded Knowledge Graph of Healthcare Software Adoption with Language-Model Agents
AI 导读
研究者提出一条流水线,从开放网络构建医疗软件客户与集成关系的知识图谱,规则是每条边都必须有来源页面的逐字引文支撑。在 61 家厂商上,该流水线对其抽取器提出的 6,428 条候选关系达到 0.94 精确率和 0.71 召回率;基于五模型投票面板的置信度评分在同等精确率下保留更多正确关系,并在 0.90 召回时达到 0.90 精确率。
正文 · AI 翻译
摘要:医院经常购买临床医生和患者所依赖的软件。由于这些采购成本高昂、难以逆转且可能影响患者护理,买家会寻找证据,了解哪些同行机构已在使用某产品以及该产品连接哪些系统。这些证据是公开的,但分散在供应商网站、新闻稿和第三方页面上。语言模型智能体现在能以低成本收集这些证据,但所提取声明的正确性难以确认,而错误列出的客户可能误导买家并歪曲某个组织。我们提出了一条流水线,在一条规则下从开放网络构建客户与集成关系的知识图谱:每条边都必须有来自其来源页面的逐字引用作为支撑。页面来自对每个供应商网站的确定性爬取,以及一个在其余网络上进行搜索、有预算限制的 ReAct 智能体。一个宽松的提取器提出带引用的关系,一个分层接地阶段决定保留哪些关系,使用一个指代步骤(当引用只提到一方时读取整个页面)、确定性检查,以及由五次模型调用组成的小组对九项标准进行投票。在 61 家供应商上,该流水线在其提取器提出的 6,428 个候选关系(其判定由一个模型起草并由第二个模型复核)所构成的页面级键上达到 0.94 精确率和 0.71 召回率。与黄金参考(市场自身精心整理的列表)相比,它的得分较低,但它保留的、参考中缺失的关系中有 89% 在某个页面上有陈述。由小组投票构建的置信度分数在相同精确率下比固定规则保留更多正确关系,并在 0.90 召回率下达到 0.90 精确率。我们还讨论了狭窄、有界的模型调用、字符串匹配证据和投票如何应对长上下文退化与运行间方差。
| 评论: | 19 页,3 幅图,9 张表。代码:this https URL |
| 主题: | 计算与语言(cs.CL);人工智能(cs.AI);信息检索(cs.IR) |
| 引用为: | arXiv:2610.32781 [cs.CL] |
| (或 arXiv:2610.32781v1 [cs.CL] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2610.32781 arXiv 颁发的 DOI 经由 DataCite(待注册) |
提交历史
来自:Juan Felipe Duran [查看电子邮件]
[v1]
2026 年 10 月 23 日星期五 15:28:39 UTC(32 KB)
来源:arXiv cs.CL · arxiv.org