arXiv cs.AI· Achille Raviez, Lan Wang, Brendan Delaney·· 11 小时前AI 评分29
结直肠癌预测需要多长病史？EHR 基础模型时间上下文最长 30 年的系统评估
How Deep is the Signal? Time-Context up to 30 Years for Colorectal Cancer Prediction in a Primary-Care EHR Model
AI 导读
研究提出“时间上下文”这一独立于 token 上下文的设计维度，并在 360 万伦敦西北部基层医疗患者的 14 亿条编码事件上预训练 34.6M 参数 decoder-only Transformer，用于预测结直肠癌。
正文 · AI 翻译
摘要：EHR 基础模型在固定的上下文窗口内读取医疗事件，而长上下文迄今仅以 token 衡量。模型需要回溯多久才能捕捉到最早的预测信号尚不清楚。我们引入了时间上下文（time-context），即预测点之前的日历回溯窗口，并据我们所知，首次对 EHR 基础模型的十年尺度时间上下文进行了系统评估。我们在来自伦敦西北部 360 万初级保健患者的 14 亿条编码事件上预训练了一个仅解码器 transformer（3460 万参数），并对其进行微调，以在 12 个月诊断前缓冲期下预测新发结直肠癌。一个冻结队列包含 1,008 例病例和 9,582 名匹配对照，所有对象注册时间均至少 30 年，在从 2 年到 30 年的 15 个嵌套回溯窗口上进行了评估，因此每次截断都在同一批患者内部进行比较。区分度从 2 年时的 AUROC 0.551 上升到 18 年时的 0.590，随后趋于平稳，约 80% 的增益在 10 年内达到；XGBoost 基线收敛到相同水平（峰值 AUROC 0.589）。一项模拟进一步表明，在默认基频下，基于经过时间的旋转位置嵌入（RoPE）在约 20 年以上会出现混叠，这促使我们重新调整 $\theta$。时间上下文是临床预测模型一个可测量的设计轴，与 token 上下文不同，应当予以报告。
| 评论： | 已被 Machine Learning for Health (ML4H) 2026, Findings Track 接收。10 页，6 幅图，3 张表 |
| 主题： | 机器学习 (cs.LG)；人工智能 (cs.AI)；定量方法 (q-bio.QM) |
| ACM 分类： | I.2.6; J.3 |
| 引用为： | arXiv:2611.07265 [cs.LG] |
| （或本版本的 arXiv:2611.07265v1 [cs.LG]） | |
| https://doi.org/10.48550/arXiv.2611.07265 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Achille Raviez [查看电子邮件]
[v1]
2026 年 11 月 5 日星期四 00:34:47 UTC（119 KB）
来源：arXiv cs.AI · arxiv.org