arXiv cs.AI· Maria Elkj{\ae}r Montgomery, Christian Igel, Mikkel Odgaard, Martin Sillesen, Mads Nielsen·· 11 小时前AI 评分27
Transformer 应如何在电子健康记录中编码数值？
How Should Transformers Encode Numeric Values in Electronic Health Records?
AI 导读
研究系统比较了离散、连续与混合三类数值编码策略在真实 EHR 数据上的表现：显式建模数值-概念交互的方法在精度敏感的算术任务上最优，但受架构约束限制。保留数值并在投影前分箱的混合 token 方案更稳健、适用面更广，最优分箱数随数据集规模呈经验幂律关系。模型普遍表现为可靠的“够用”数值计算而非精确算术，临床收益因任务而异。
正文 · AI 翻译
摘要：我们如何在基于 transformer 的序列处理中编码数值，尤其是在电子健康记录（EHR）数据中？我们通过嵌入真实世界 EHR 数据中的合成算术任务，以及真实世界的临床预测任务，系统地比较了离散、连续和混合数值编码策略。我们的研究揭示了数值精度、优化稳定性和架构灵活性之间的权衡。我们发现，在架构约束允许的情况下，显式建模数值-概念交互的方法在精度敏感的算术任务上表现最佳。保留数值但在投影前应用分箱的混合基于 token 的方法提供了一种更稳健且更广泛适用的替代方案，其最优分箱数遵循一个由数据集规模简单经验推导出的幂律。在所有任务中，模型始终表现出可靠的“足够好”的数值计算，而非精确算术，而纳入实验室数值所带来的临床收益则取决于具体任务。这表明在实践中，稳健性和可部署性往往比最大数值精度更重要，从而推动混合基于 token 的方法成为实用的默认选择。
| 评论： | 16 页，15 幅图，3 张表，已被 ICML 2026 接收 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2607.01391 [cs.LG] |
| （或 arXiv:2607.01391v2 [cs.LG] 为本版本） | |
| https://doi.org/10.48550/arXiv.2607.01391 由 DataCite 颁发的 arXiv DOI |
|
| 期刊 参考： | 第 43 届国际机器学习大会论文集（2026） |
提交历史
来自：Maria Elkjær Montgomery [查看邮箱]
[v1]
2026 年 7 月 1 日星期三 18:49:41 UTC（6,177 KB）
[v2]
2026 年 10 月 23 日星期五 13:14:27 UTC（6,177 KB）
来源：arXiv cs.AI · arxiv.org