arXiv cs.CL· Soroosh Tayebi Arasteh, Mehdi Joodaki, Mahshad Lotfinia, Tri-Thien Nguyen, Sebastian Ziegelmayer, Sven Nebelung, Daniel Truhn·· 10 小时前AI 评分42
BRACE：自动验证 AI 胸片陈述的 grounding 框架
Automated grounding verification of AI statements about chest radiographs
AI 导读
研究提出 BRACE 框架，可从公开放射学报告和 Radiopaedia 文章中自动构建训练样本，同时核查报告与引用证据。在 5 个公开胸片数据集上对比 0.1-284B 参数的 42 个验证器，BRACE 训练后的验证器在 0.90 支持样本阈值下，仅接受 0.239 被报告反驳的 AI 陈述，而未用矛盾样本训练的验证器平均接受 0.830。
正文 · AI 翻译
摘要：一个 grounding 验证器会对照放射学报告和所引用的证据，检查关于患者影像的陈述。测试这些验证器的最先进方法会在患者报告保持不变的情况下移除或替换所引用的证据。据我们所知，尚无现有方法同时检查报告和所引用的证据。我们提出了 Building Report And Citation Examples（BRACE），这是一个自动化框架，可从公开的放射学报告和 Radiopaedia 文章中构建训练示例。我们在 5 个不同的公开胸部 X 线数据集上，比较了一个词法基线和 42 个参数规模为 0.1-284B 的验证器。在接受 0.90 受支持测试示例的阈值下，使用 BRACE 训练的验证器平均仅接受了 0.239 的、被报告反驳的 AI 撰写陈述。未使用被反驳示例训练的验证器通过了最先进的测试，却接受了其中大多数陈述（平均 0.830）。在使用从留出的 Radiopaedia 文章中检索到的引用时，使用 BRACE 训练的验证器接受了 0.169 的、报告一致但引用不支持的 AI 撰写陈述。相比之下，零样本大型语言模型大多只检查报告而不检查引用（它们接受了其中 0.830 的陈述）。我们进一步通过两名委员会认证的放射科医生独立标注测试报告样本，对该框架进行了人工评估。该框架的标签与每位放射科医生的一致程度（k > 0.910）几乎与放射科医生彼此之间的一致程度（k = 0.952）相当。此外，我们将该框架实例化用于食谱中的食物过敏原，表明它可扩展到临床之外的应用。以相同方式构建的验证器接受了 0.493 的、被食谱反驳的陈述，而词法基线接受了 0.898。同时使用报告和所引用的证据，使用 BRACE 训练的验证器可以在临床医生阅读之前检查 AI 陈述。
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；信息检索（cs.IR）；机器学习（cs.LG） |
| 引用为： | arXiv:2604.09537 [cs.CL] |
| （或 arXiv:2604.09537v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2604.09537 arXiv 颁发的 DOI（通过 DataCite） |
提交历史
来自：Soroosh Tayebi Arasteh [查看电子邮件]
[v1]
2026 年 4 月 10 日星期五 17:55:38 UTC（2,758 KB）
[v2]
2026 年 10 月 30 日星期五 19:02:17 UTC（1,293 KB）
来源：arXiv cs.CL · arxiv.org