arXiv cs.CL· Miguel Mochizuki Silva, Samuel Ismael, Mateus C. Dias, Tha\'is Gaud\^encio, Yuri Malheiros, Barufaldi·· 12 小时前AI 评分20
标注覆盖如何影响检索分数：乳腺病变 RAG 系统的证据感知评估
How Ground Truth Shapes Retrieval Scores: Evidence-Aware Evaluation of a Retrieval-Augmented Generation System for Breast Lesions
AI 导读
一项针对乳腺病变管理文献的临床 RAG 系统研究提出证据感知检索评估协议，指出检索分数依赖标注覆盖度。
正文 · AI 翻译
摘要：目的：描述一种面向乳腺病变管理文献的临床检索增强生成（RAG）系统的证据感知检索评估方案，解决检索分数对标注覆盖度的依赖问题。方法：使用一个包含 18 篇文档的语料库和一个包含 18 条查询的开发基准，每篇文档对应一个是/否问题或 WH 问题。检索结合了稠密嵌入、BM25 和交叉编码器重排序。评估了 128 至 1024 个 token 的分块大小、0 至 20% 的重叠率以及四种检索器配置。相关性由映射到所有包含该证据的分块的证据片段定义，将具有等价证据的重叠分块视为相关。检索使用 R-Precision、Recall@K、MRR 和 nDCG@K 进行评估。另外，在 K=1 至 5 的 512 token 索引上使用 DeepEval 声明级指标评估生成，以 deepseek-v4-pro 作为 LLM 评判器，并使用 BLEU/ROUGE 指标。结果：选定的混合检索器使用 384 token 分块和 20% 重叠率，在 18 条查询中的 17 条的前三个结果中检索到了被接受的证据。Recall@3、R-Precision、MRR@3 和 nDCG@3 均达到 0.94。真值整理将证据片段从 25 个增加到 37 个，被接受的分块目标从 36 个增加到 51 个，而检索排名未发生变化。结论：交叉编码器重排序取得了最高的检索分数。扩展的相关性标注增加了被识别的证据，而未改变排名，凸显了标注敏感性。小型开发集和检索信息驱动的整理需要独立验证，包括放射科医生对证据充分性的评估。
| 评论： | 18 页，3 幅图，6 张表 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.31606 [cs.CL] |
| （或 arXiv:2610.31606v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.31606 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Miguel Mochizuki Silva [查看电子邮件]
[v1]
2026 年 10 月 22 日星期四 17:36:14 UTC（344 KB）
来源：arXiv cs.CL · arxiv.org