arXiv cs.AI· Wanyin Wu, Kanxue Li, Baosheng Yu, Haoyun Zhao, Yibing Zhan, Dapeng Tao, Hua Jin·· 10 小时前AI 评分20
PREBA:用 PCA 加权检索增强 LLM 与贝叶斯平均预测手术时长
PREBA: Surgical Duration Prediction via PCA-Weighted Retrieval-Augmented LLMs and Bayesian Averaging Aggregation
AI 导读
PREBA 是一个无需任务微调的检索增强框架,通过 PCA 加权检索与贝叶斯平均将 LLM 推理锚定在机构特定临床证据上。在四个真实数据集上,基于 Qwen3、DeepSeek-R1 和 HuatuoGPT-o1 的评测显示,其 MAE 最多降低 64.9%,R2 最高达 0.63,优于零样本推理并在部分数据集上超过全监督 ML 方法。
正文 · AI 翻译
摘要:准确预测手术时长对医院资源管理至关重要。尽管近期的监督学习方法,从机器学习(ML)到微调后的大语言模型(LLM),已展现出强劲性能,但它们仍受限于对高质量标注数据的需求以及计算密集的训练过程。相比之下,零样本 LLM 推理提供了一种有前景的免训练替代方案,但它缺乏机构特定临床证据的支撑,导致其预测在临床上存在偏差且易于不稳定。为解决这些局限,我们提出 PREBA,一个检索增强框架,它整合 PCA 加权检索与贝叶斯平均,使 LLM 推理建立在机构特定证据之上,而无需任务特定的微调。具体而言,PREBA 首先将异构临床特征编码为统一表示。随后执行 PCA 加权检索,按每个维度对机构病例间变异贡献的大小进行加权,而非将其视为同等信息量,并以此条件化 LLM 生成多个候选预测。最后,贝叶斯平均结合群体级统计先验整合这些预测,产生一个保持稳定且临床合理的校准估计。我们在涵盖不同机构和语言的四个真实世界数据集上,使用包括 Qwen3、DeepSeek-R1 和 HuatuoGPT-o1 在内的三个先进 LLM 对 PREBA 进行评估。PREBA 始终优于零样本推理,将 MAE 最多降低 64.9%,并将 R2 提升至高达 0.63。它进一步达到与全监督 ML 方法相当的准确率,并在若干数据集上优于后者,同时通过检索到的示例和显式先验提供更强的可解释性。代码可在 此 https URL 获取。
| 评论: | 已被 IEEE Journal of Biomedical and Health Informatics 接收 |
| 主题: | 机器学习(cs.LG);人工智能(cs.AI) |
| 引用为: | arXiv:2603.13275 [cs.LG] |
| (或 arXiv:2603.13275v4 [cs.LG] 对应此版本) | |
| https://doi.org/10.48550/arXiv.2603.13275 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Kanxue Li [查看邮箱]
[v1]
2026年2月27日星期五 07:19:23 UTC(1,923 KB)
[v2]
2026年3月19日星期四 01:00:17 UTC(1 KB)(已撤回)
[v3]
2026年3月21日星期六 05:30:04 UTC(3,296 KB)
[v4]
2026年11月4日星期三 01:22:54 UTC(2,183 KB)
来源:arXiv cs.AI · arxiv.org