审计发现罕见病诊断LLM评测存在数据泄漏
热点事件持续更新
审计发现罕见病诊断LLM评测存在数据泄漏
1 篇报道1 个报道来源11 小时前更新
先了解这件事
AI 综述
Jian Yang等作者发表实证审计研究，称增强型大语言模型在罕见病诊断中的高基准准确率部分源于数据泄漏。研究使用逾6万例来自公共与独立临床队列的病例，在严格跨数据集隔离后，智能体框架的跨数据集平均Recall@1从54.3%降至40.3%（Hedges' g = 0.94），监督分类器的诊断准确率从内部平均42.9%降至外部队列16.7%（Cohen's d = 2.01）。
AI 根据报道生成 · 2 小时前更新
最新进展10月27日 12:00
研究审计大语言模型罕见病诊断中的评估伪影与数据泄漏报道时间线
沿着报道，了解事件的不同侧面。
10月27日
- arXiv cs.AI研究审计大语言模型罕见病诊断中的评估伪影与数据泄漏
一项实证审计发现，增强型 LLM 系统在罕见病诊断中的高基准准确率部分源于数据泄漏：严格跨数据集隔离后，智能体框架的跨数据集平均 Recall@1 从 54.3% 降至 40.3%（Hedges' g = 0.94），监督分类器的诊断准确率从内部平均 42.9% 降至外部队列 16.7%（Cohen's d = 2.01）。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。